1. Die Datenfabrik
Die Datenfabrik ist eine Plattform zur Umsetzung datenbasierter Anwendungsfälle in der Verwaltung basierend auf Open-Source-Technologien Sie stellt eine standardisierte technische Umgebung bereit, um Daten aus unterschiedlichen Quellen zu integrieren, automatisiert zu verarbeiten und für verschiedene Zwecke nutzbar zu machen. Im Kern verfolgt die Datenfabrik das Ziel, den Aufwand für die Umsetzung datengetriebener Lösungen deutlich zu reduzieren. Anstatt für jeden Anwendungsfall eine eigene Infrastruktur aufzubauen, können Fachbereiche und Projekte somit auf eine bereits vorhandene, zentral betriebene Plattform zurückgreifen - die Datenfabrik.
1.1 Was die Datenfabrik konkret ermöglicht
Die Plattform unterstützt den gesamten Lebenszyklus eines datenbasierten Use Cases:
1.2 Plattform statt Einzelanwendung
1.3 Rollen & Verantwortlichkeiten (Zielgruppen)
1.4 Beispiele für die Nutzung der Datenfabrik
2. Übersicht der eingesetzten Tools
2.1 Architecture Vision
2.2 System Kontext
Der oben abgebildete System Kontext umfasst folgende Komponenten
| Name | Komponente | Scope | Erläuterungen |
|---|---|---|---|
| Projekt IAM/Broker | Keycloak | Plattform | Föderierung von externen Accounts sowie "interne" Nutzeraccounts, Details |
| API Gateway | APISix | Plattform | Veröffentlichung/Absicherung von APIs, Details |
| Frontend UCx | Custom | Custom in Plattform | Frontends abseits der Plattform-Visualisierungsoptionen durch Cadenza/Superset sind spezifisch für Anwendungsfälle umzusetzen |
| Data Access API UCx | Custom/PostgREST | Custom in Plattform | Zugriff auf Anwendungs-Daten kann entweder über PostgREST (präferiert) oder Custom-Code hergestellt werden, Details |
| Ingest/ETL | Airflow | Plattform | Verarbeitung von Daten, Speicherung in Persistenz-Schicht, Details |
| Visualisierung | Cadenza | Plattform | Self-Service Daten Exploration und Visualisierung |
| WAF/DDos | - | Infrastruktur nicht-normativ | beispielhaft, im Pilotbetrieb kommt nur DDoS-Schutz zum Einsatz, Details |
| Ingress Controller | nginx-ingress | Infrastruktur | Aktuell sind die Komponenten alle für nginx-ingress vorbereitet, mit geringeren Modifikationen sind sie aber auch unter anderen Produkten lauffähig. |
| IAM/IdP | Keycloak SH | Extern | Quelle von via Projekt IAM/Broker föderierten Accounts, Details |
| Observability-Stack | fluent-bit, kube-state-metrics, metrics-server | Infrastruktur nicht-normativ | diese Komponenten sind abhängig vom genutzten Infrastruktur-Angebot / liegen in der Betriebs-Verantwortung |
| Observability-Services | Grafana, Prometheus/Miri, Loki | Infrastruktur nicht-normativ | diese Komponenten sind abhängig vom genutzten Infrastruktur-Angebot / liegen in der Betriebs-Verantwortung |
| Operators | cnpg, minio, snapscheduler, nginx-ingress, apisix | Infrastruktur nicht-normativ | bis auf den ApiSix Operator können auch alternative Möglichkeiten genutzt werden, um die jeweiligen Dienste bereit zu stellen |
| Mail Gateway | - | externe Abhängigkeit | Mailversand über einen beigestellten Dienst, kein Empfang |
| Fachverfahren | - | externe Nutzung | Fachverfahren können die Datenfabrik via API (präferiert: S3) nutzen, alternativ werden Daten von den Fachverfahren abgeholt |
3. Prozess zur Einbringung eigener Use Cases
Unterstützende Dokumente
Anforderungsaufnahme Template: https://gitlab.opencode.de/sh/zit/datenfabrik/datenfabrik-sh-architektur/-/wikis/06_use_cases_anforderungsaufnahme
Fit Assessment Template: https://gitlab.opencode.de/sh/zit/datenfabrik/datenfabrik-sh-architektur/-/wikis/06_use_cases_operatives_onboarding
Operatives Onboarding: https://gitlab.opencode.de/sh/zit/datenfabrik/datenfabrik-sh-architektur/-/wikis/06_use_cases_operatives_onboarding
4. Einordnung der Datenfabrik Plattform
5. Häufig gestellte Fragen (FAQ)
Ist die Datenfabrik ein fertiges Produkt?
Nein, es handelt sich um eine Plattform, die kontinuierlich weiterentwickelt wird.
Benötige ich technisches Wissen zur Nutzung?
Das hängt von der Nutzung ab. Fachliche Nutzer können bestehende Anwendungen (insb. fertige Dashboards) nutzen, während technische Nutzer Entwicklungskenntnisse benötigen.
Wer betreibt die Plattform?
Der Betrieb erfolgt zentral durch ein dediziertes Betriebsteam.
Kontakt:
ZIT
Dr. Martin Schuster
IBM
Mathis Moder
Marc Adrian
Kann ich eigene Daten integrieren?
Ja, nach Abstimmung und Prüfung im Rahmen des definierten Prozesses.
Ist die Plattform bereits vollständig ausgereift?
Nein, sie befindet sich im Pilotbetrieb und wird schrittweise weiterentwickelt.