Auf den Einsatz mit dem Big-Data-Framework Apache Spark ist Microsofts Hadoop-Integration in der eigenen Cloud-Umgebung Azure nun auch abgestimmt. In Zusammenarbeit mit der Yahoo-Ausgründung Hortonworks, deren Hadoop-Distribution in HDInsight eingebunden ist, ist der unter dem Namen Azure HDInsight laufende Dienst entstanden.

Schon seit längerem werden in Azure HDInsight die verteilte Datenbank Apache HBase und das Echtzeit-Datenverarbeitungssystem Apache Storm unterstützt. Daher ist die Einbindung von Spark ein naheliegender Schritt gewesen, da das Framework zur Echtzeitdatenanalyse "wie der neue Stern am Big-Data-Himmel" ist.

Apache Spark ist in einem Projekt des AMPLab der UC Berkeley entstanden und ist ein quelloffenes, auf In-Memory-Verarbeitung setzendes Framework zur Berechnung auf Clustern. 2009 wurde dieses Projekt gestartet und ein Jahr später unter einer BSD-Lizenz veröffentlicht. Dann kam Spark 2013 in der Apache Software Foundation unter und stieg im Februar 2014 zum Top-Level-Projekt auf.

Microsoft sieht als typischen Einsatz für Spark auf der eigenen Cloud-orientierten Plattform das Erstellen interaktiver Abfragen über große Datenmengen. Zum Einsatz kommen dabei Business-Intelligence-Werkzeuge oder Web-gestützte Notebooks wie Jupyter (iPython) und Apache Zeppelin. Das Angebot soll zudem bei der Arbeit mit Machine-Learning-Algorithmen und beim Erstellen von Streaming-Anwendungen hilfreich sein. Microsofts Angebot hat momentan den Status einer Public Review.

(ts, hannover)

(siehe auch heise-News-Ticker:)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE