Produkt
Das DUVA-System und seine Anwendungen
DUVA ist modular aufgebaut und bildet den gesamten Prozess von der Eingabe, über die Datenaufbereitung bis hin zur Ausgabe ab. Die einzelnen Module können auf die jeweiligen Bedarfe abgestimmt werden und sind ohne besondere Programmierkenntnisse bedienbar. Umfangreiche Schnittstellen erweitern das Anwendungsspektrum.
Metadatenansatz
In das DUVA-System aufgenommen und als Datenbanktabellen gespeichert werden Sachdaten unabhängig von ihrem Inhalt und ihrem Ursprungsformat. Im Unterschied zu zahlreichen anderen DataWarehouse-Programmen oder BusinessIntelligence-Werkzeugen basiert das DUVA-System darüber hinaus auf dem konsequenten und durchgängigen Einsatz von Metadaten. Dabei werden Sachdaten, Dateistrukturen, einzelne Merkmale und Werte in Klarsprache beschrieben. Zusätzliche Metadaten ergeben sich aus Raum- und Zeitbezügen sowie aus Prozessbeschreibungen, die ebenfalls fest mit den zugehörigen Sachdaten verknüpft werden. Alle Metadaten werden in einer Serverdatenbank nach dem Once-Only-Prinzip redundanzfrei abgelegt. Dementsprechend stehen einmal angelegte Beschreibungen für die Verwendung in anderen Anwendungen des DUVA-Systems zur Verfügung – Ist zum Beispiel ein Merkmal mit seinen Ausprägungen einmal beschrieben, können diese Beschreibungen unter Anderem zur automatischen Beschriftung von Tabellen, Grafiken oder Karten oder zur Beschreibung inhaltsgleicher Daten eingesetzt werden.
DUVA organisiert den Prozess der Informationsgewinnung damit so, dass Informationen aus
- beliebigen Informationsquellen
- für unterschiedliche Fragestellungen
- mit gleichen Verfahren
- in einer medienbruchfreien Produktionskette
- klar strukturiert erschlossen, aufbereitet und präsentiert werden können.
Und das alles ohne besondere Programmierkenntnisse und unabhängig von der Herkunft, dem Inhalt und dem Format der Informationen.
Das DUVA-System
DUVA ist ein System aus integrierten Einzelanwendungen mit jeweils spezifischen Aufgaben.
Zur Verwaltung und Verarbeitung der vorhandenen Informationen dient das Nachweissystem; hier fließen Sachdaten und die zugehörigen Metadaten zusammen. Als Herzstück des Systems realisiert es im Rahmen der Datenverarbeitung Berechnungen, Aggregationen und andere Operationen.
Mit den Eingabemodulen werden auf Basis von Dateibeschreibungen frei gestaltbare Formulare generiert, über die Daten direkt in das DUVA-System erfasst werden können.
Der Auswertung und Ausgabe von Informationen in Form von Tabellen, Diagrammen und thematischen Karten dient das Modul Auswertungsassistent.
Mit dem Informationsportal können Ihre Daten online in Form von Tabellen, Diagrammen, Karten etc. strukturiert, anschaulich und präsentabel angeboten und abrufbar gemacht werden. Damit steht ein Portal zur Verfügung, über das interessierte Bürger:innen, politische Entscheidungsträger und andere Adressatengruppen Informationen selbständig recherchieren und abrufen können.
Mit Hilfe von Schnittstellen, die ebenfalls zum Auslieferungsumfang gehören, können Informationen unter Anderem konform zu den Open Data-Richtlinien angeboten und abrufbar gemacht werden. Eine weitere Schnittstelle des DUVA-Systems ist als API so ausgelegt, dass zum Beispiel R-Anwendungen direkt aus dem DUVA-System mit Sachdaten und den zugehörigen Metadaten versorgt werden können. Ein Datenexport im Format CSV ist ebenfalls möglich. Metadaten aller Art können über eine XML-Schnittstelle ausgetauscht werden.
In der Administrationsanwendung können Benutzer- und Systemeinstellungen individuell definiert und die einzelnen Module zu einem ineinandergreifenden und auf Ihre Anforderungen ausgerichteten System konfiguriert werden.
DUVA ist ein modular aufgebautes Informationsmanagementsystem für die öffentliche Verwaltung, das die Arbeitswege der klassischen Statistik und des modernen Informationsmanagements von der Eingabe über die Verarbeitung bis zur Auswertung und Weitergabe durchgängig unterstützt und integriert.
Das Nachweissystem und die zugehörige Administrationskomponente sind das Herzstück von DUVA. Durch den Metadatenansatz werden beispielsweise Raum- und Zeitbezüge im laufenden Prozess mitdokumentiert. Sachdaten können hier verknüpft und im Rahmen von Produktionen aufbereitet werden. Die Rechtevergabe und Zugangsverwaltung erfolgt zentral für alle Module über die Administrationskomponente. SPSS, SAS, API, DCAT und CKAN Schnittstellen sind implementiert.
Derzeit befindet sich ein neues webbasiertes Nachweissystem in der Entwicklung.
Funktionalitäten
- Beschreibung statistischer Datenpakete in natürlicher Sprache (es sind keine Programmierkenntnisse erforderlich)
- Dokumentation von Raum- und Zeitbezügen sowie Änderungen im Datenaufbau im laufenden Prozess (ermöglicht eine redundanzfreie Datenhaltung)
- programminterne Datenprüfung prüft die Konsistenz zwischen Sach- und Metadaten
- Aggregationen und Berechnungen, Dateiverschneidungen und Dateiverkettungen können innerhalb des Programmes durchgeführt und zur wiederholten Anwendung gespeichert werden
- Im- und Export aller Metadaten erfolgt als xml-Dateien
- Anonymisierung von Einzeldaten mit Hilfe eines mehrstufigen mathematischen Verfahrens (SAFE) möglich
- Client-Server-Anwendung (kann sowohl im Netzwerk als auch lokal betrieben werden)
- SPSS, SAS, API, DCAT und CKAN Schnittstellen sind implementiert
- Administration erfolgt für alle Module zentral und übersichtlich in einer einzigen Anwendung
Anwendungsbeispiele
Die Anwendungen der Eingabe dienen der einfachen Erstellung und Verwaltung von digitalen Eingabeformularen sowie der webbasierten Datenerfassung. Die Eingabe beinhaltet zwei Anwendungen:
Der Formulargenerator ist ein leistungsfähiges Instrument zur einfachen und schnellen Erzeugung individueller Eingabeformulare auf Basis von vorhandenen oder neu erzeugten Metadaten – unabhängig von inhaltlichen Fragestellungen und ohne Programmierarbeiten.
Mit der Weberfassung können Daten eingegeben werden, die dann im DUVA-System unmittelbar für weitere Arbeitsschritte zur Verfügung stehen. Außerdem können Daten editiert oder in externe Anwendungen exportiert werden.
Funktionalitäten
- One-Click-Erzeugung kompletter Erfassungsformulare für PC oder Internet als HTML-Seiten auf Basis vorhandener Satzaufbauten
- freie Formatierung der Erfassungsformulare
- Integration von Regeln (Berechnungen, Jumps, Skip & Fill, Autofill etc.)
- Multi-User fähig (zeitgleiche Erfassung)
- umfassende Benutzer:innenverwaltung
- bearbeitbare Tabellenansicht erfasster Daten
- Mehrsprachenfähigkeit
Anwendungsbeispiele
Der Auswertungsassistent dient der webbasierten Datenausgabe in Form von Tabellen, Diagrammen und thematischen Karten. Mit dem Auswertungsassistenten können Anwender:innen selbstständig Auswertungen erstellen. Durch den direkten Zugriff auf die Datenbanken des DUVA-Systems stehen dabei tagesaktuelle und verlässliche Informationen zur Verfügung.
Funktionalitäten
- webbasierte Auswertungen in Form von Tabellen, Diagrammen und thematischen Karten
- große Bandbreite an individuellen Darstellungs-, Berechnungs- und (interaktiven) Filtermöglichkeiten
- umfangreichen Formatierungsmöglichkeiten für Tabellen, Grafiken und thematische Karten
- intuitiv bedienbar
- Exportmöglichkeiten der fertigen Auswertung in unterschiedlichen Formaten (csv/Excel/Grafikdateien…)
- umfassende Benutzer:innenverwaltung
- Anwendungsoberfläche mittels HTML/CSS individuell gestaltbar
Anwendungsbeispiele
Das Informationsportal ist ein webbasierter Datenkatalog, mit dem statistische Informationen (z.B. mit dem Auswertungsassistent erstellte Auswertungen, digitale Veröffentlichungen, Verlinkungen) unabhängig von ihrer Herkunft zur Verfügung gestellt werden können. Mithilfe einer DUVA-eigenen Schnittstelle wird das Informationsportal zu einem Open Data-Portal, das Daten nach DCAT-Standard recherchierbar und abrufbar macht.
Funktionalitäten
- webbasierte Oberfläche zur Bereitstellung im Auswertungsassistenten erstellter Auswertungen, Grafiken und thematischer Karten sowie bei Bedarf weiterer Dateien (z.B. als pdf-/Excel-/Grafikformate) oder URLs
- Gliederung nach selbst wählbaren Kriterien, barrierearme Recherche mittels Filter- und dynamischer Suche ohne hierarchisch festgelegte Suchwege
- intuitive Bedienbarkeit von Front- und Backend
- optimiert für mobile Endgeräte
- Open Data DCAT-Schnittstelle und Ausgabe API vorhanden
- Anbindung an überregionale Datenportale wie GovData oder European Data
- Mehrsprachenfähigkeit
- umfassende Benutzer:innenverwaltung
- Anwendungsoberfläche mittels HTML/CSS individuell gestaltbar (Corporate Design)
Anwendungsbeispiele
DUVA verfügt über eine DCAT-Schnittstelle, über die das Harvesting durch andere Datenportale sowie die Anbindung an Metadatenkataloge möglich ist. Über die Schnittstelle können (Meta)Daten in standardisierter Form geteilt werden (z.B. High Value Datasets). Derzeit in Entwicklung befindet sich eine Erweiterung der DCAT-Schnittstelle zur Integration von Auswertungen des ASW. Ziel ist es, dass alle im IP verlinkten ASW-Auswertungen ebenfalls über die Schnittstelle geteilt werden können.
DUVA besitzt außerdem eine REST-API zur Anbindung von speziellen Fachverfahren, wie zum Beispiel der Statistiksoftware R. Über die REST-API können aus den Fachverfahren heraus direkt die im NWS hinterlegten Datensätze angesteuert werden. Mit dem in DUVA implementierten Berechtigungskonzept kann der Zugriff bspw. nach Sachgebiet oder Benutzergruppe reglementiert werden. In Entwicklung befindet sich eine Erweiterung zur Anbindung von Geo-Services (WMS, WFS, GeoJSON).
DUVA erweitert das Angebot derzeit noch um eine Import-API, mit der externe Daten automatisiert eingelesen, bereinigt, angereichert und im DUVA NWS gespeichert werden können.
- DCAT-Schnittstelle
- Harvesting durch andere Datenportale (GovData, European Data)
- Anbindung an Metadatenkataloge
- Integration der ASW-Auswertungen (in Entwicklung)
- REST-API
- Anbindung anderer Fachverfahren (z.B. R)
- Berechtigungskonzept
- Gruppierung
- Anbindung GeoServices (WMS, WFS, GeoJSON)
- Import-API
- Kapselung des Data-Warehouses
Die Hardware- und Softwareanforderungen, die für den Einsatz des DUVA-Systems gelten, bewegen sich im gängigen Rahmen öffentlicher Verwaltungen; eine Aufwärtskompatibilität ist gegeben, sodass bedenkenlos z. B. auf neue Betriebssysteme oder neue Datenbankversionen gewechselt werden kann.
Die noch im Rahmen des Systems DUVA4 entwickelten Anwendungen (Nachweissystem4, Auswertungsassistent, Eingabemodule, Informationsportal) benötigen sowohl server- als auch clientseitig ein Windows-Betriebssystem. Beginnend mit dem Nachweissystem 5 und den daran angepassten bzw. nachfolgend neu entwickelten Anwendungen des DUVA-Systems können auch andere Betriebssysteme wie Linux zum Einsatz gebracht werden.
Als gemeinsam für alle Anwendungen des DUVA-Systems einzusetzende Serverdatenbank wird für das System DUVA4 MS SQL empfohlen. Der Einsatz von Oracle-Datenbanken ist in dieser Version des DUVA-Systems ebenfalls möglich; aus den in der Praxis gewonnenen Erfahrungen heraus wird vom Einsatz einer Oracle-Datenbank jedoch abgeraten.
Mit Version 5 des DUVA-Systems kann neben MS-SQL erstmalig auch die kostenfreie Serverdatenbank Maria DB eingesetzt werden.
Auf diesem Hintergrund ergeben sich im Hinblick auf die Hard- und Softwareanforderungen des DUVA-Systems 5 folgende Anforderungen und Empfehlungen:
| Anwendung | Hardware / Software | Mindestanforderung / Empfehlungen |
| Nachweissystem: | Hardware: | Server mit folgender Ausstattung: |
| 2 Cores (empfohlen 8) | ||
| 2 GB Hauptspeicher (empfohlen 16-32 GB) | ||
| 2 GB freier Festplattenspeicher | ||
| Software: | Betriebssystem Windows-Server ab Version 2019 ODER Linux (Ubuntu, Debian, CentOS) als klassisches Betriebssystem oder für den Betrieb des Docker-Containers. Es wird empfohlen, Systemwechsel, Updates oder Upgrades des eigenen Hauses mit zu vollziehen. | |
| JAVA Versionsreihe 17 | ||
| Apache Tomcat 10.0 als Servletcontainer | ||
| Serverdatenbank (MDB): MS SQL ab Version 2016 ODER MariaDB ab Version 10.11 (LTS) – Es wird empfohlen, möglichst aktuelle Versionen der MDB einzusetzen bzw. Updates oder Upgrades des eigenen Hauses mit zu vollziehen. | ||
| Auswertungsassistent: | Hardware: | Zusätzliche 2 Cores |
| Zusätzliche 2 GB Hauptspeicher | ||
| Zusätzliche 2 GB Festplattenspeicher | ||
| Software: | Keine zusätzliche Software notwendig | |
| Informationsportal: | Hardware: | Zusätzliche 2 Cores |
| Zusätzliche 2 GB Hauptspeicher | ||
| Zusätzliche 2 GB Festplattenspeicher | ||
| Software: | Keine zusätzliche Software notwendig | |
| Eingabemodule: | Hardware: | Zusätzliche 2 Cores |
| Zusätzliche 2 GB Hauptspeicher | ||
| Zusätzliche 2 GB Festplattenspeicher | ||
| Software: | Keine zusätzliche Software notwendig | |
| Speicherbedarf für Metadaten: | Der benötigte Speicherplatz hängt insbesondere von der Zahl und der Länge der gespeicherten Dateibeschreibungen ab. Selbst größere Metadatenbanken übersteigen aber selten die Größe von 100 MB. | |
| Speicherbedarf für Sachdaten: | Der benötigte Speicherplatz richtet sich nach der Größe der vorgehaltenen Sachdateien. | |