Aus dem Apache Incubator konnte mit Apache Flink nun ein weiteres Projekt in den Rang der Top-Level-Projekte aufsteigen. Das System nutzt, um Nutzern eine Plattform zur Analyse derartiger Daten zu bieten, eine Kombination aus Pipelining-, Streaming- und Batch-Verarbeitungs-Prozessen. Es ist mit speziellen APIs für Graphenverarbeitung ausgestattet und umfasst zudem Programmierschnittstellen in Scala und Java.

Flink ist in der Lage Daten aus HBase und HDFS zu lesen und mit alten MapReduce-Operatoren umzugehen und ist kompatibel zu allen Ein- und Ausgabeformaten und Datentypen von Apaches Big-Data-Projekt Hadoop. Das Projektteam stellt als besondere Features unter anderem die Speicherverwaltung, die hybride Batch- und Streaming-Umgebung, den eingebauten Optimierer und die Fensterungssemantik für Stream-Programme heraus. Der Optimierer sorgt dafür, dass für das jeweilige Programm die richtigen Laufzeitoperationen zum Einsatz kommen.

Flink ist im Rahmen des 2009 begonnenen Stratosphere-Forschungsprojekts, das damals die TU Berlin gemeinsam mit anderen in Berlin ansässigen Organisationen, die sich mit Datenmanagement beschäftigen, startete, entstanden. Die Universitäten KTH aus Stockholm und ELTE aus Budapest beteiligten sich unter anderem später. Einige der Committer haben mittlerweile ein Start-up, das sich dem Ziel verschrieben hat, Code und Community des Projekts voranzubringen, gegründet.

(mt, hannover)

(siehe auch heise-News-Ticker:)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE