Python

Bigdata: Python und ENVI-met

In den letzten Jahren hat die Verfügbarkeit von sehr großen Datensets und Sammlungen aus den unterschiedlichsten Themenbereichen, beginnend von Daten des täglichen Lebens bis hin zu sehr speziellen wissenschaftlichen Daten, extrem zugenommen. Im gleichen Maße, wie die Verfügbarkeit von solchen Datensammlungen steigt, stellt sich die Frage, wie man diese Gigabytes an Informationen überhaupt noch verwalten, auswerten und visualisieren kann. Die Antwort auf diese Frage kann nicht von einer einzelnen Person und auch nicht von einem einzelnen Unternehmen beantwortet werden, selbst wenn das Unternehmen Google, Amazon oder Microsoft heißt.

Es ist quasi unmöglich, im Voraus zu wissen, welche Fragen der Anwender an das Datenset stellen wird und welche Auswertungen benötigt werden und dann genau diese Auswertungsverfahren fest in einer Software zu implementieren. Für die Analyse von BigData ist es daher unumgänglich, die Software für Skript-basierte Auswertungen zu öffnen, die zudem auf eine quasi unendliche Bibliothek von vorbereiteten Auswerteroutinen zurückgreifen kann.

In den vergangenen Jahren hat sich Python als eine der beliebtesten und mächtigsten Skriptsprachen im Bereich der Datenanalyse etabliert, nicht nur, aber auch aufgrund der zahlreichen Schnittstellen zu Cloud-Computing Diensten wie TensorFlow oder verwandten Diensten.

Eine typische ENVI-met Simulation generiert ebenfalls eine große Menge Rohdaten und es gibt viele unterschiedliche Perspektiven, aus denen diese Daten analysiert und visualisiert werden können. Obwohl es immer zum Grundkonzept von ENVI-met gehörte, Simulationen und Visualisierungen für den Anwender so einfach wie möglich zu gestalten, werden wir Schritt-für-Schritt die ENVI-met Datenwelt für Python Scripte öffnen.

Der aktuell in Entwicklung befindliche TreePass ist hierbei ein Paradebeispiel, wie die quasi unbegrenzten Möglichkeiten von Python zur Datenanalyse und -visualisierung weit über das hinaus gehen, was man als feste Auswerteroutinen in einer Software vorhersehen und implementieren kann.

Mit Python für ENVI-met wird es möglich sein, jede existierende Python Bibliothek zum Laden, Analysieren und Visiualisieren von unterschiedlichsten Simulationsdaten zu nutzen, egal ob es sich um atmosphärische Profile oder Bodendaten handelt. Aus dem ENVI-met System werden compilierte Objekte dem Pytho-Skript zur Verfügung gestellt, so dass ein einfacher und schneller Zugriff auf das ENVI-met Datenmodell und Daten ermöglicht wird. Dieses beinhaltet ebenso den Zugriff auf klassische Benutzerinterfaces wie beispielsweise die DataFile Map aus LEONARDO in eigene Skripte.

Im ersten Schritt wird Python für ENVI-met im ENVI-met TreePass und LEONARDO zum Einsatz kommen und kontinuierlich für alle Anwendungen implementiert und weiterentwickelt.