Page History

Big Data Sets are a special type of data sets which can be used to store very large amount of data and build pre-calculated cubes. The main differences between standard data sets and big data sets are:

• Reports cannot be built directly on big data sets. Cubes have to be created first.
• In big data sets, it is not possible to browse all data. Only random data sample is available. Filters, edit function and delete function is not available in the data sample.
• Big data sets cannot be joined.
  
  

Creating Big Data Set

Big Data Set can be created by clicking on the link Create big data set in the Action menu on Data Sets page, filling in the name of the big data set and clicking on Create.

Image Modified

Big Data Set summary page

The landing page (summary page) is very similar to standard data set summary page. There are a left navigation menu and the main area with basic information about the data set:

• description,
• date of last change,
• records count,
• cubes overview,
• import history.

Importing Data

Data can be imported to big the data the same way as to standard data set. Users can either import data from a file or from a data source. However, big data set is not using standard indicators and attributes, but instead, each column is defined as an object. These objects can have various data types:

• text,
• date,
• time,
• datetime,
• GEO point,
• GEO JSON,
• long text,
• boolean,
• numeric.

After import, users can open the data sample page to see a randomly selected part of the data.

Image Modified

Managing Objects

Objects (columns) can be created automatically during the import or they can be defined on the data model page. When adding a new object, users can specify its name, data type, indexation and whether they can contain empty values or not. Please note that GEO point, GEO JSON, long text, boolean and numeric cannot be indexed.

Objects can be also edited and deleted by clicking on the row.

Cubes

Cube is a data table which contains aggregated data from the big data set. Users can define the aggregation and also limit the data by applying filters. Data from the cube can be then imported to a data set. Each big data set can have more than one cube and each cube can have different settings.

Creating Cube

To create a cube, users need to follow these steps:

1. Click on Create cube
2. Fill-in the name and optionally the description.
3. Select which columns (attribute elements and data elements). Attribute elements define the aggregation of the cube. For example, if the user selects column Country, the data will be aggregated for each country (one row = one country). Users can also create formula indicators. In the real-time, users can also see the preview of the cube on the right side of the screen. Please note that the preview is built on the data sample only, which means that it can be empty, although some data will be imported to the data set after the execution. It possible to change the order of attributes and indicators by using the arrows located next to the names.
   Image Modified
4. Optionally, users can also apply filters to work with only part of the data.

   1. In the filters, users can reference first and last values from different data set by using following functions:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      The function has to be added as a custom value to the filter.
      Image Modified

5. Select destination data set and mapping. By using the search field, users have to select destination data set. After execution, data will be imported from the cube to this data set. After choosing the data set, users have to specify the mapping. Each column of the cube has to be assigned to an attribute or indicator of the destination data set. Attribute elements can be mapped to attribute columns in destination data set. Data elements can be mapped to indicator columns and also attribute columns.
   
   Image Modified
6. Set up execution schedule. The execution can be run manually, on data change or by schedule. When scheduling the execution, users can specify following parameters:

   1. Batch size (default 1000) - the number of rows which will be executed in one batch. In special cases, it might be beneficial to increase or decrease the value. However, in most cases, we strongly suggest to leave in on default.

   2. Workers count (default 8) - the number of workers which should be used for parallel execution.

   3. Execution timeout [s] - sets the maximum duration of the execution.

   4. When - time of the first execution.

   5. Schedule - how often should be executed.

   6. Import Method - what should happen with data in the destination data set. See Data overwriting policy for more information.

      Image Modified

Cubes summary

 On the Cubes page, users can see a table with all cubes associated with the big data set. For each cube, information about the schedule and last event are available. Users can also edit the cube by clicking anywhere on the row or on the name of the cube. Several actions are also available for each cube:

• History - see a list of previous executions and their result.
• Run - manually run the execution.
• Schedule - reschedule the execution. Previous settings will be overwritten.
• Delete - delete the cube.

Image Modified

Cube execution

As mentioned above, execution can be run manually, on data change or by schedule.

• Manual execution - by clicking on Run in the Action column, users can start the execution manually. They can also select the import method, which can be different than the one used for scheduled execution.
• On data change - every time there is a change in the big data set, the execution will be started.
• Scheduled execution - execution will be run periodically after after specified amount of time.

Users can also cancel the next scheduled execution by clicking on the date in the column Schedule and confirming the cancellation. Please note this will only cancel the execution and it won't delete it. After running the execution manually, the schedule will be restored. To delete the scheduled execution completely, users have to edit the cube and delete the Execution schedule.

Backup of Big Data Set

When using the XML backup of big data set, the target data set and mapping in the cube is not stored. After restoring, they have to be set up again.

Große Datensätze [Original Seitentitel]

Big Data Sets sind eine spezielle Art von Datensätzen, die verwendet werden können, um sehr große Datenmengen zu speichern und vorbereitete Cubes zu bilden.
Die Hauptunterschiede zwischen Standarddatensätzen und großen Datensätzen sind:

• Reports können nicht direkt auf großen Datensätzen erstellt werden. Zuerst müssen Cubes erstellt werden.

• In großen Datensätzen ist es nicht möglich, alle Daten zu durchsuchen. Es stehen nur Stichproben zur Verfügung.
  Filter, Bearbeitungsfunktion und Löschfunktion sind in der Datenprobe nicht verfügbar.

• Große Datensätze können nicht zusammengeführt werden.

Creating Big Data Set

Ein großer Datensatz kann erstellt werden, indem Sie auf den Link Großen Datensatz erstellen im Menü Aktion auf der Seite Datensätze klicken, den Namen des großen Datensatzes eingeben und auf Erstellen klicken.

Image Added

Zusammenfassungsseite für große Datensätze

Die Landing Page (Summary Page) ist der Standard-Datensatzübersichtsseite sehr ähnlich. Es gibt ein linkes Navigationsmenü und den Hauptbereich mit grundlegenden Informationen über den Datensatz:

• Beschreibung,

• Datum der letzten Änderung,

• Datensätze zählen,

• Cubes Übersicht,

• Importhistorie.

Daten importieren

Daten können wie bei einem Standarddatensatz in große Datenmengen importiert werden. Benutzer können entweder Daten aus einer Datei oder aus einer Datenquelle importieren. Der große Datensatz verwendet jedoch keine Standardkennzeichen und -attribute, sondern jede Spalte ist als Objekt definiert. Diese Objekte können verschiedene Datentypen haben:

• Datum,

• Zeit,

• Datum/Uhrzeit,

• GEO-Punkt,

• GEO JSON,

• Langtext,

• boolean,

• numerisch.
  
  

Nach dem Import können Benutzer die Datenprobenseite öffnen, um einen zufällig ausgewählten Teil der Daten anzuzeigen.

Image Added

Objekte verwalten

Objekte (Spalten) können beim Import automatisch angelegt oder auf der Datenmodellseite definiert werden. Beim Hinzufügen eines neuen Objekts können Benutzer dessen Namen, Datentyp, Indexierung und ob sie leere Werte enthalten dürfen oder nicht, angeben. Bitte beachten Sie, dass GEO point, GEO JSON, Langtext, boolesch und numerisch nicht indiziert werden können.

Sie können auch Objekte bearbeiten und löschen, indem Sie auf die Zeile klicken.

Cubes

Cube ist eine Datentabelle, die aggregierte Daten aus dem großen Datensatz enthält. Benutzer können die Aggregation definieren und die Daten durch die Anwendung von Filtern einschränken. Daten aus dem Cube können dann in einen Datensatz importiert werden. Jeder große Datensatz kann mehr als einen Cube haben und jeder Cube kann unterschiedliche Einstellungen haben.

Cube erstellen

Um einen Cube zu erstellen, müssen Benutzer diesen Schritten folgen:

1. Klicken Sie auf Cube erstellen.
2. Geben Sie den Namen und optional die Beschreibung ein.
3. Wählen Sie welche Spalten (Attribut- und Datenelemente). Attribut-Elemente definieren die Aggregation des Cubes. Wenn der Benutzer beispielsweise die Spalte Land auswählt, werden die Daten für jedes Land zusammengefasst (eine Zeile = ein Land). Benutzer können auch Formelkennzeichen anlegen. In Echtzeit können die Benutzer auch die Vorschau des Cubes auf der rechten Seite des Bildschirms sehen. Bitte beachten Sie, dass die Vorschau nur auf dem Datensample basiert, d.h. sie kann leer sein, obwohl einige Daten nach der Ausführung in den Datensatz importiert werden. Es ist möglich, die Reihenfolge der Attribute und Indikatoren zu ändern, indem Sie die Pfeile neben den Namen verwenden.
   Image Added
4. Optional können Benutzer auch Filter anwenden, um nur mit einem Teil der Daten zu arbeiten.
   

   1. In den Filtern können Benutzer mit Hilfe der folgenden Funktionen auf den ersten und letzten Wert aus verschiedenen Datensätzen verweisen:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      Die Funktion muss dem Filter als benutzerdefinierter Wert hinzugefügt werden.
      Image Added

5. Wählen Sie den Zieldatensatz und die Zuordnung aus. Über das Suchfeld muss der Benutzer den Zieldatensatz auswählen. Nach der Ausführung werden die Daten aus dem Cube in diesen Datensatz importiert. Nach der Auswahl des Datensatzes muss der Benutzer das Mapping angeben. Jede Spalte des Cubes muss einem Attribut oder Kennzeichen des Zieldatensatzes zugeordnet sein. Attribut-Elemente können auf Attributspalten im Zieldatensatz abgebildet werden. Datenelemente können sowohl auf Indikatorspalten als auch auf Attributspalten abgebildet werden.

   
   Image Added
6. Ausführungsplan einrichten. Die Ausführung kann manuell, bei Datenänderung oder nach Zeitplan erfolgen. Bei der Einplanung der Ausführung können die Benutzer folgende Parameter angeben:
   

   1. Batchgröße (Standard 1000) - die Anzahl der Zeilen, die in einem Batch ausgeführt werden. In besonderen Fällen kann es sinnvoll sein, den Wert zu erhöhen oder zu verringern. In den meisten Fällen empfehlen wir jedoch dringend, die Standardeinstellung beizubehalten.

   2. Workers count (default 8) - die Anzahl der Mitarbeiter, die für die parallele Ausführung verwendet werden sollen.

   3. Ausführungszeitüberschreitung [s] - legt die maximale Dauer der Ausführung fest.

   4. Wann - Zeitpunkt der ersten Ausführung

   5. Zeitplan - wie oft soll ausgeführt werden.

   6. Importmethode - was mit den Daten im Zieldatensatz geschehen soll. Weitere Informationen finden Sie unter Richtlinien zum Überschreiben von Daten.

      Image Added

Zusammenfassung der Cubes

 Auf der Seite Cubes sehen die Benutzer eine Tabelle mit allen Cubes, die dem großen Datensatz zugeordnet sind. Für jeden Cube stehen Informationen über den Zeitplan und die letzte Veranstaltung zur Verfügung. Benutzer können den Würfel auch bearbeiten, indem sie irgendwo auf die Zeile oder den Namen des Würfels klicken. Für jeden Cube stehen auch mehrere Aktionen zur Verfügung:

• Historie - siehe eine Liste der früheren Ausführungen und deren Ergebnis.

• Ausführen - führt die Ausführung manuell aus.

• Zeitplan - plant die Ausführung neu ein. Vorherige Einstellungen werden überschrieben.

• Löschen - löscht den Würfel.

Image Added

Cube-Ausführung

Wie bereits erwähnt, kann die Ausführung manuell, bei Datenänderung oder nach Zeitplan erfolgen.

• Manuelle Ausführung - durch Klicken auf Ausführen in der Spalte Aktion können Benutzer die Ausführung manuell starten. Sie können auch die Importmethode auswählen, die sich von der für die geplante Ausführung verwendeten unterscheiden kann.

• Bei Datenänderung - jedes Mal, wenn es eine Änderung im großen Datensatz gibt, wird die Ausführung gestartet.

• Geplante Ausführung - die Ausführung wird periodisch nach einer bestimmten Zeitspanne ausgeführt.

Der Benutzer kann auch die nächste geplante Ausführung abbrechen, indem er auf das Datum in der Spalte Zeitplan klickt und die Abbestellung bestätigt. Bitte beachten Sie, dass dadurch nur die Ausführung abgebrochen und nicht gelöscht wird. Nachdem die Ausführung manuell ausgeführt wurde, wird der Zeitplan wiederhergestellt. Um die geplante Ausführung vollständig zu löschen, müssen Benutzer den Cube bearbeiten und den Ausführungsplan löschen.

Sicherung eines großen Datensatzes

Bei der Verwendung der XML-Sicherung von großen Datensätzen werden der Zieldatensatz und das Mapping im Cube nicht gespeichert. Nach der Wiederherstellung müssen sie neu eingerichtet werden.