Hortonworks DataFlow 2.1 verbessert das Zusammenspiel mit der Cloud

[ad_1]

Die Plattform für Datenströme lässt sich nun direkt an die Datenspeicher von AWS und Microsoft Azure anbinden. Außerdem können Administratoren neuerdings die Verwendung einzelner NiFi-Prozessoren beschränken.

Zwei Monate nach der Veröffentlichung der letzten Hauptversion ist nun Hortonworks DataFlow (HDF) 2.1 erschienen. HDF dient dazu, Datenströme, die beispielsweise bei Endgeräten im Internet der Dinge anfallen, zu analysieren und zur Weiterverarbeitung aufzubereiten. Es baut auf die quelloffenen Apache-Werkzeuge Storm, Kafka und NiFi. Nach der Verarbeitung leitet es die Daten beispielsweise an die Hadoop-Distribution Hortonworks Data Platform (HDP) weiter.

Version 2.1 von HDF ermöglicht eine bessere Zusammenarbeit mit den öffentlichen Cloud-Anbietern Amazon Web Services (AWS) und Microsoft: Es hat Schnittstellen zu Amazon Kinesis, das speziell auf Echtzeitdaten ausgelegt ist, sowie Microsoft Azure Storage Blob (WASB) und Azure Data Lake Storage (ADLS).

Regeln für den Zugriff und die Verarbeitung

Die Macher haben das Policy-Management erweitert, das nun eine nutzerzentrierte Ansicht für die jeweiligen Berechtigungen bietet. Außerdem können Administratoren Regeln für das Hinzufügen neuer NiFi-Prozessoren festlegen. Letztere sind für die Verarbeitung der Daten auf unterschiedliche Weise verantwortlich. Während einige der gut 180 in HDF 2.1 enthaltenen Prozessoren lediglich Daten lesen oder Transformationen durchführen, verändern oder löschen andere die Daten. Administratoren können beispielsweise festlegen, dass das Auslesen der Daten von einem MQTT-Broker über den ConsumeMQTT-Prozessor uneingeschränkt zu Verfügung steht, aber das Löschen von Dateien über den DeleteHDFS-Prozessor eine entsprechende Berechtigung erfordert.

Weitere Details stehen im Blogbeitrag. Auf der Download-Seite steht HDF 2.1 sowohl im Komplettpaket mit Ambari 2.4 als auch als reine NiFi-Variante ebenso zum Herunterladen bereit wie der MiNiFi Java-Agent. Letzterer ist ein Unterprojekt von NiFi, das mit einem schlanken Aufbau auf die Verarbeitung an der Datenquelle ausgelegt ist. (rme)

[ad_2]

Read more on: Source