Maschinelles Lernen: Yahoo verbindet TensorFlow mit Spark

[ad_1]

Die nun als Open-Source-Software verfügbare Bibliothek TensorFlowOnSpark soll die Nutzung von Spark in existierenden TensorFlow-Programmen mit weniger als zehn Zeilen Codeänderung ermöglichen.

Yahoo hat mit TensorFlowOnSpark (TFoS) ein Framework zur Verbindung des von Google initiierten TensorFlow mit Apache Spark veröffentlicht. Damit können Entwickler direkt auf die vom Big-Data Framework bereit stehenden Datensätze zugreifen und mit den in TensorFlow enthaltenden Methoden zum maschinellen Lernen bearbeiten. Yahoos Bibliothek soll sich analog zu der zu Spark gehörenden MLlib verwenden und über Pipelines verbinden lassen. Entwickler können TFoS so unter anderem in Python Notebooks integrieren.

Yahoos Framework ergänzt andere ML-Ansätze auf Spark wie MLlib.

Laut der Beschreibung auf GitHub lassen sich existierende Programme mit weniger als zehn geänderten Codezeilen migrieren. TFoS erlaubt den Zugriff auf alle TensorFlow-Funktionen wie synchrones und asynchrones Training, Inferenz und TensorBoard. Mehrere Prozesse lassen sich als Spark Executors in einem Cluster ausführen und können direkt miteinander kommunizieren, ohne den Umweg über Spark-Treiber gehen zu müssen.

Ergänzung zu Caffe

TensorFlow ist nicht das erste ML-Framework, das Yahoo mit Spark verbindet: Vergangenes Jahr hatte das Unternehmen mit CaffeOnSpark eine ähnliche Software für das Deep-Learning-Framework Caffe veröffentlicht. Durch den Pipeline-Ansatz lassen sich die unterschiedlichen Funktionen der beiden Frameworks ebenso miteinander kombinieren wie mit denen von Saprk MLlib.

Weitere Details zu TensorFlowOnSpark lassen sich dem Blogbeitrag entnehmen. Die Software steht unter der Apache-2-Lizenz quelloffen auf GitHub zur Verfügung. (rme)

[ad_2]

Read more on: Source