Marktdaten ETL-Plattform
Leistungen
Individualsoftware
Unternehmensberatung
Branchen
Energiesektor
Kunde
RWE Supply & Trading GmbH
Zeitraum
Januar 2016 - Dezember 2018
Die Marktdaten ETL-Plattform ist ein unternehmensweites System zur automatisierten Beschaffung, Aufbereitung und Bereitstellung von Energiemarktdaten bei RWE Supply & Trading. In einem dynamischen Handelsumfeld benötigen Analysten und Händler Zugang zu aktuellen und historischen Marktdaten aus einer Vielzahl unterschiedlicher Quellen — von Börsen über Regulierungsbehörden bis hin zu Branchendiensten.
Die Plattform basiert auf einer Microservices-Architektur mit C#/.NET im Backend und Angular im Frontend. Spezialisierte Extraktionsservices verbinden sich mit diversen Datenquellen über SFTP, E-Mail-Parsing, Web-Scraping und Datei-Importe (Excel, CSV). Die extrahierten Rohdaten durchlaufen konfigurierbare Transformationspipelines, die heterogene Formate in einheitliche Zeitreihenstrukturen überführen.
Die aufbereiteten Daten werden in Amazon DynamoDB als Zeitreihendatenbank und MSSQL für relationale Metadaten gespeichert. Eine generische REST-API mit rollenbasierter Zugriffskontrolle ermöglicht die sichere, unternehmensweite Bereitstellung der Marktdaten. Ein Angular-basiertes Dashboard bietet Visualisierung, Analyse und Monitoring der Datenflüsse.
Die Infrastruktur läuft auf Amazon AWS mit S3 für Dateispeicherung und Docker für die Containerisierung der Microservices. Das System verarbeitet täglich Daten aus über zehn verschiedenen Quellen und stellt sie in Echtzeit für Handelsentscheidungen bereit.
Profile
Technologien