Marktdaten ETL-Plattform
Leistungen
Individualsoftware
Unternehmensberatung
Branchen
Energiesektor
Kunde
RWE Supply & Trading GmbH
Zeitraum
Januar 2016 - Dezember 2018

Mitwirkung an einer ETL-Plattform zur automatisierten Extraktion, Transformation und Speicherung von Marktdaten. Das Frontend basiert auf Angular, das Backend auf C#/.NET mit MSSQL für relationale Daten und Amazon DynamoDB für Zeitreihendaten. Die Infrastruktur läuft auf Amazon AWS mit S3 für Dateispeicherung.
Technische Merkmale:
- Generische Konnektoren für diverse Datenquellen (Websites, FTP-Server, E-Mail, Excel)
- Automatisierte Datenextraktion mit konfigurierbaren Transformationsregeln
- Standardisierte Zeitreihen-Speicherung für effiziente Abfragen
- REST-API mit rollenbasierter Zugriffskontrolle
- Dashboard zur Visualisierung und Analyse der Marktdaten
Die Entwicklung erfolgte agil mit Atlassian JIRA und Git. Das System verarbeitet täglich Daten aus über zehn verschiedenen Quellen und stellt sie in Echtzeit für Handelsentscheidungen bereit.
