1 Datenfabrik - Einstieg & Nutzung
1. Die Datenfabrik
Die Datenfabrik ist eine Plattform zur Umsetzung datenbasierter Anwendungsfälle in der Verwaltung basierend auf Open-Source Technologien Sie stellt eine standardisierte technische Umgebung bereit, um Daten aus unterschiedlichen Quellen zu integrieren, automatisiert zu verarbeiten und für verschiedene Zwecke nutzbar zu machen. Im Kern verfolgt die Datenfabrik das Ziel, den Aufwand für die Umsetzung datengetriebener Lösungen deutlich zu reduzieren. Anstatt für jeden Anwendungsfall eine eigene Infrastruktur aufzubauen, können Fachbereiche und Projekte somit auf eine bereits vorhandene, zentral betriebene Plattform zurückgreifen - die Datenfabrik.
1.1 Was die Datenfabrik konkret ermöglicht
Die Plattform unterstützt den gesamten Lebenszyklus eines datenbasierten Use Cases:
1.2 Plattform statt Einzelanwendung
1.3 Rollen & Verantwortlichkeiten (Zielgruppen)
1.4 Beispiele für die Nutzung der Datenfabrik
2. Übersicht der eingesetzten Komponenten
Der oben abgebildete System Kontext umfasst folgende Komponenten:
| Name | Komponente | Scope | Erläuterungen |
|---|---|---|---|
| Projekt IAM/Broker | Keycloak | Plattform | Föderierung von externen Accounts sowie "interne" Nutzeraccounts |
| API Gateway | APISix | Plattform | Veröffentlichung/Absicherung von APIs |
| Frontend UCx | Custom | Custom in Plattform | Frontends abseits der Plattform-Visualisierungsoptionen durch Cadenza sind spezifisch für Anwendungsfälle umzusetzen |
| Data Access API UCx | Custom/PostgREST | Custom in Plattform | Zugriff auf Anwendungs-Daten kann entweder über PostgREST (präferiert) oder Custom-Code hergestellt werden |
| Ingest/ETL | Airflow | Plattform | Verarbeitung von Daten, Speicherung in Persistenz-Schicht |
| Visualisierung | Cadenza | Plattform | Self-Service Daten Exploration und Visualisierung |
| WAF/DDos | - | Infrastruktur nicht-normativ | beispielhaft |
| Ingress Controller | traefik-ingress | Infrastruktur | Aktuell sind die Komponenten alle für traefik-ingress vorbereitet, mit geringeren Modifikationen sind sie aber auch unter anderen Produkten lauffähig. |
| IAM/IdP | Keycloak SH | Extern | Quelle von via Projekt IAM/Broker föderierten Accounts |
| Observability-Stack | fluent-bit, kube-state-metrics, metrics-server | Infrastruktur nicht-normativ | diese Komponenten sind abhängig vom genutzten Infrastruktur-Angebot / liegen in der Betriebs-Verantwortung |
| Observability-Services | Grafana, Prometheus/Miri, Loki | Infrastruktur nicht-normativ | diese Komponenten sind abhängig vom genutzten Infrastruktur-Angebot / liegen in der Betriebs-Verantwortung |
| Operators | cnpg, minio/rustfs, snapscheduler, traefik-ingress, apisix | Infrastruktur nicht-normativ | bis auf den ApiSix Operator können auch alternative Möglichkeiten genutzt werden, um die jeweiligen Dienste bereit zu stellen |
| Mail Gateway | - | externe Abhängigkeit | Mailversand über einen beigestellten Dienst, kein Empfang |
| Fachverfahren | - | externe Nutzung | Fachverfahren können die Datenfabrik via API (präferiert: S3) nutzen, alternativ werden Daten von den Fachverfahren abgeholt |
3. Prozess zur Einbringung eigener Use Cases
4. Einordnung der Datenfabrik Plattform
5. Häufig gestellte Fragen (FAQ)
Ist die Datenfabrik ein fertiges Produkt?
Nein, es handelt sich um eine Plattform, die kontinuierlich weiterentwickelt wird.
Benötige ich technisches Wissen zur Nutzung?
Das hängt von der Nutzung ab. Fachliche Nutzer können bestehende Anwendungen (insb. fertige Dashboards) nutzen, während technische Nutzer Entwicklungskenntnisse benötigen.
Wer betreibt die Plattform?
Der Betrieb erfolgt zentral durch ein dediziertes Betriebsteam in der jeweiligen Umgebung.
Kontakt:
- ZIT: Dr. Martin Schuster
- Support und Anfragen: datenfabrik-zit@stk.landsh.de
Kann ich eigene Daten integrieren?
Ja, nach Abstimmung und Prüfung im Rahmen des definierten Prozesses.
Ist die Plattform bereits vollständig ausgereift?
Nein, sie befindet sich im Pilotbetrieb und wird schrittweise weiterentwickelt.