Custom Data Source

Big Data Sets sind eine spezielle Art von Datensätzen, die verwendet werden können, um sehr große Datenmengen zu speichern und vorbereitete Cubes zu bilden.
Die Hauptunterschiede zwischen Standarddatensätzen und großen Datensätzen sind:

• Reports können nicht direkt auf großen Datensätzen erstellt werden. Zuerst müssen Cubes erstellt werden.

• In großen Datensätzen ist es nicht möglich, alle Daten zu durchsuchen. Es stehen nur Stichproben zur Verfügung.
  Filter, Bearbeitungsfunktion und Löschfunktion sind in der Datenprobe nicht verfügbar.

• Große Datensätze können nicht zusammengeführt werden.

Erstellen eines großen Datensatzes

Ein großer Dataset kann erstellt werden, indem Sie auf den Link Großen Dataset erstellen im Menü Aktion auf der Seite Datensätze klicken, den Namen des großen Datasets eingeben und auf Erstellen klicken.

Zusammenfassungsseite für große Datensätze

Die Landing Page (Summary Page) ist der Standard-Datasetübersichtsseite sehr ähnlich. Es gibt ein linkes Navigationsmenü und den Hauptbereich mit grundlegenden Informationen über den Dataset:

• Beschreibung,

• Datum der letzten Änderung,

• Datensätze zählen,

• Cubes Übersicht,

• Importhistorie.

Daten importieren

Daten können wie bei einem StandardDataset in große Datenmengen importiert werden. Benutzer können entweder Daten aus einer Datei oder aus einer Datenquelle importieren. Der große Dataset verwendet jedoch keine Standardkennzeichen und -attribute, sondern jede Spalte ist als Objekt definiert. Diese Objekte können verschiedene Datentypen haben:

• Datum,

• Zeit,

• Datum/Uhrzeit,

• GEO-Punkt,

• GEO JSON,

• Langtext,

• boolean,

• numerisch.

Nach dem Import können Benutzer die Datenprobenseite öffnen, um einen zufällig ausgewählten Teil der Daten anzuzeigen.

Objekte verwalten

Objekte (Spalten) können beim Import automatisch angelegt oder auf der Datenmodellseite definiert werden. Beim Hinzufügen eines neuen Objekts können Benutzer dessen Namen, Datentyp, Indexierung und ob sie leere Werte enthalten dürfen oder nicht, angeben. Bitte beachten Sie, dass GEO point, GEO JSON, Langtext, boolesch und numerisch nicht indiziert werden können.

Sie können auch Objekte bearbeiten und löschen, indem Sie auf die Zeile klicken.

Cubes

Cube ist eine Datentabelle, die aggregierte Daten aus dem großen Dataset enthält. Benutzer können die Aggregation definieren und die Daten durch die Anwendung von Filtern einschränken. Daten aus dem Cube können dann in einen Dataset importiert werden. Jeder große Dataset kann mehr als einen Cube haben und jeder Cube kann unterschiedliche Einstellungen haben.

Cube erstellen

Um einen Cube zu erstellen, müssen Benutzer diesen Schritten folgen:

1. Klicken Sie auf Cube erstellen.
2. Geben Sie den Namen und optional die Beschreibung ein.
3. Wählen Sie welche Spalten (Attribut- und Datenelemente). Attribut-Elemente definieren die Aggregation des Cubes. Wenn der Benutzer beispielsweise die Spalte Land auswählt, werden die Daten für jedes Land zusammengefasst (eine Zeile = ein Land). Benutzer können auch Formelkennzeichen anlegen. In Echtzeit können die Benutzer auch die Vorschau des Cubes auf der rechten Seite des Bildschirms sehen. Bitte beachten Sie, dass die Vorschau nur auf dem Datensample basiert, d.h. sie kann leer sein, obwohl einige Daten nach der Ausführung in den Dataset importiert werden. Es ist möglich, die Reihenfolge der Attribute und Indikatoren zu ändern, indem Sie die Pfeile neben den Namen verwenden.
   
4. Optional können Benutzer auch Filter anwenden, um nur mit einem Teil der Daten zu arbeiten.
   

   1. In den Filtern können Benutzer mit Hilfe der folgenden Funktionen auf den ersten und letzten Wert aus verschiedenen Datensätzen verweisen:

      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)}
      ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)}
      ${firstValue(DATA_SET_CODE,M_INDICATOR)}
      ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      Die Funktion muss dem Filter als benutzerdefinierter Wert hinzugefügt werden.
      

   2. Es ist auch möglich, eine Filterformel hinzuzufügen. Dies ermöglicht es dem Benutzer, komplexere Filteralgorithmen zu erstellen. Es ist auch möglich, die Funktion getLastSuccessfulCubeExecution() zu verwenden, um das Datum und die Uhrzeit der letzten erfolgreichen Cube-Ausführung abzurufen.

      def f = createFilter()
      andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss'))))
      

5. Wählen Sie den Zieldataset und die Zuordnung aus. Über das Suchfeld muss der Benutzer den Zieldataset auswählen. Nach der Ausführung werden die Daten aus dem Cube in diesen Dataset importiert. Nach der Auswahl des Datasets muss der Benutzer das Mapping angeben. Jede Spalte des Cubes muss einem Attribut oder Kennzeichen des Zieldatasets zugeordnet sein. Attribut-Elemente können auf Attributspalten im ZielDataset abgebildet werden. Datenelemente können sowohl auf Indikatorspalten als auch auf Attributspalten abgebildet werden.

   
   
6. Ausführungsplan einrichten. Die Ausführung kann manuell, bei Datenänderung oder nach Zeitplan erfolgen. Bei der Einplanung der Ausführung können die Benutzer folgende Parameter angeben:
   

   1. Batchgröße (Standard 1000) - die Anzahl der Zeilen, die in einem Batch ausgeführt werden. In besonderen Fällen kann es sinnvoll sein, den Wert zu erhöhen oder zu verringern. In den meisten Fällen empfehlen wir jedoch dringend, die Standardeinstellung beizubehalten.

   2. Workers count (default 8) - die Anzahl der Mitarbeiter, die für die parallele Ausführung verwendet werden sollen.

   3. Ausführungszeitüberschreitung [s] - legt die maximale Dauer der Ausführung fest.

   4. Wann - Zeitpunkt der ersten Ausführung

   5. Zeitplan - wie oft soll ausgeführt werden.

   6. Importmethode - was mit den Daten im Zieldataset geschehen soll. Weitere Informationen finden Sie unter Richtlinien zum Überschreiben von Daten.

      

Zusammenfassung der Cubes

 Auf der Seite Cubes sehen die Benutzer eine Tabelle mit allen Cubes, die dem großen Dataset zugeordnet sind. Für jeden Cube stehen Informationen über den Zeitplan und die letzte Veranstaltung zur Verfügung. Benutzer können den Würfel auch bearbeiten, indem sie irgendwo auf die Zeile oder den Namen des Würfels klicken. Für jeden Cube stehen auch mehrere Aktionen zur Verfügung:

• Historie - siehe eine Liste der früheren Ausführungen und deren Ergebnis.

• Ausführen - führt die Ausführung manuell aus.

• Zeitplan - plant die Ausführung neu ein. Vorherige Einstellungen werden überschrieben.

• Löschen - löscht den Würfel.

Cube-Ausführung

Wie bereits erwähnt, kann die Ausführung manuell, bei Datenänderung oder nach Zeitplan erfolgen.

• Manuelle Ausführung - durch Klicken auf Ausführen in der Spalte Aktion können Benutzer die Ausführung manuell starten. Sie können auch die Importmethode auswählen, die sich von der für die geplante Ausführung verwendeten unterscheiden kann.

• Bei Datenänderung - jedes Mal, wenn es eine Änderung im großen Dataset gibt, wird die Ausführung gestartet.

• Geplante Ausführung - die Ausführung wird periodisch nach einer bestimmten Zeitspanne ausgeführt.

Der Benutzer kann auch die nächste geplante Ausführung abbrechen, indem er auf das Datum in der Spalte Zeitplan klickt und die Abbestellung bestätigt. Bitte beachten Sie, dass dadurch nur die Ausführung abgebrochen und nicht gelöscht wird. Nachdem die Ausführung manuell ausgeführt wurde, wird der Zeitplan wiederhergestellt. Um die geplante Ausführung vollständig zu löschen, müssen Benutzer den Cube bearbeiten und den Ausführungsplan löschen.

Sicherung eines großen Datasets

Bei der Verwendung der XML-Sicherung von großen Datensätzen werden der Zieldataset und das Mapping im Cube nicht gespeichert. Nach der Wiederherstellung müssen sie neu eingerichtet werden.