Marktdaten ETL-Plattform

Leistungen

Individualsoftware

Unternehmensberatung

Branchen

Energiesektor

Kunde

RWE Supply & Trading GmbH

Zeitraum

Januar 2016 - Dezember 2018

Marktdaten ETL-Plattform

Mitwirkung an einer ETL-Plattform zur automatisierten Extraktion, Transformation und Speicherung von Marktdaten. Das Frontend basiert auf Angular, das Backend auf C#/.NET mit MSSQL für relationale Daten und Amazon DynamoDB für Zeitreihendaten. Die Infrastruktur läuft auf Amazon AWS mit S3 für Dateispeicherung.

Technische Merkmale:

  • Generische Konnektoren für diverse Datenquellen (Websites, FTP-Server, E-Mail, Excel)
  • Automatisierte Datenextraktion mit konfigurierbaren Transformationsregeln
  • Standardisierte Zeitreihen-Speicherung für effiziente Abfragen
  • REST-API mit rollenbasierter Zugriffskontrolle
  • Dashboard zur Visualisierung und Analyse der Marktdaten

Die Entwicklung erfolgte agil mit Atlassian JIRA und Git. Das System verarbeitet täglich Daten aus über zehn verschiedenen Quellen und stellt sie in Echtzeit für Handelsentscheidungen bereit.

Profile

Dustin Kremer

Technologien

C#
CSS
HTML 5
TypeScript
MSSQL
.NET
Angular
NPM
Amazon AWS
Amazon DynamoDB
Amazon S3
Atlassian JIRA
Git