Theorie zur Langzeitspeicherung von Wetterdaten

Wie im letzten Teil 6 beschrieben, werden die Daten des Chart-Nodes nur zur Laufzeit des Dashboards im Node gespeichert. Nach einem Neustart des Raspberry sind die Daten weg und bauen sich nach den Einstellungen des Nodes erst wieder auf. Nun gibt es einige Überlegungen, die das Speichern dieser Daten auch auf lange Sicht gewährleistet.

1. Speichern der Chart-Node-Daten in eine oder mehrere Dateien wie z.B. CSV.
2. Speichern der ankommenden Daten in einer SQL-Datei, wie z.B. MySQL.
3. Speichern der ankommenden Daten in einer Round-Robin-Datenbank (RRD), wie z.B. RRDtool von Tobias Oetiker.
4. Speichern der ankommenden Daten in einer weiteren Version einer RRD, wie z.B. InfluxDB.

Alle genannten Methoden haben für sich gesehen einen gewissen Charme, ihre Vorteile und aber auch ihre Nachteile.

Zu 1.

Das Speichern der Daten aus dem Chart-Node macht vielleicht dann Sinn, wenn man es einmal macht und die Daten hinterher für irgendwelche anderen Zwecke weiter verwendet. Die Ausgabe in eine Datei oder in eine Datenbank ist ohne Zweifel möglich, aber für meine weiteren Überlegungen sinnlos.

Zu 2.

Ja, die ankommen Daten können im Nodered in einen Chart-Node geschoben werden und parallel dazu in eine SQL-Datenbank. Bei der SQL-Datenbank hat man sogar die Freiheit sich seine eigene Datenbank aufzubauen, wie auch die Struktur der Tabellen. Beim Wegschreiben der Daten gibt es zunächst keine Probleme. Problematisch wird es allerdings, wenn man eine Abfrage gestaltet.

Dazu ein Beispiel:
Alle zwei Minuten kommen Daten aus meiner Wetterstation. Das bedeutet, Nodered erzeugt alle zwei Minuten einen Datensatz, der zwar im Moment nur aus der Temperatur besteht, aber auch weitere Felder haben könnte. Z.B. Luftfeuchte, Luftdruck, Windgeschwindigkeit, Windrichtung, Lichtdauer und was einem noch so alles einfällt.

So entstehen im Laufe eines Tages 30 x 24 = 720 Datensätze, pro Woche dann schon 5.040 Datensätze. Im Jahr werden somit 262.080 Datensätze erzeugt. Der kleine Raspberry Pi muss dann z.B. in einer Jahresübersicht 262.080 Daten in den Chart-Node schicken. Die Abfrag ginge vielleicht noch recht schnell, aber das Auffüllen des Knoten könnte schon mal 5 Minuten und mehr benötigen. Außerdem ist es noch abhängig vom Speicher des Raspberry, der in älteren Versionen schnell zugestopft wird.

Eine andere Methode wäre die Aufbereitung von z.B einem Stundenmittel. Dabei würden alle 30 Werte einer Stunde zu einem Mittelwert gebildet, was in einer Jahresübersicht durchaus gefällig ist. Dann wären statt der 262.080 Datensätze nur noch 52w x 7d x 24h = 8.736 Datensätze zu berücksichtigen. Man kann sich schnell ausmalen, welchen Vorteil dies mit sich bringt. Besonders beim Vergleich über Monate oder Jahre hinweg, könnte man alle diese Daten mitteln und diese Mittelwerte in weitere Tabellen einer Datenbank speichern.

Da sind dann die SQL-Programmierer, so wie ich, wieder gefragt, die z.B. über Stored Procedures o.ä. diese Berechnungen fortwährend durchführen. Der Aufwand ist mir aber ehrlich gesagt zu hoch.

Und sowas gibt es schon fertig und bringt mich weiter zu 3.

Zu 3.

Die Round Robin Datenbank RRDtool macht genau das, wie zu 2. in den letzten Absätzen geschrieben. Die Datenbank wird im Vorfeld konstruiert. Dabei werden die zyklischen Abstände und die Anzahl der Messpunkte pro Zyklus definiert. Beim Ankommen der Daten, werden nicht nur die aktuellen Werte oder die Durchschnittswerte auf Basis der Konfiguration verarbeitet, sondern auch gleich die korrekte Zeit mitgegeben. Diese Datenbank ist dann in ihrer Eigenschaft fest eingestellt und kann nachträglich nur sehr umständlich verändert werden. Wenn überhaupt, ich hab’s noch nicht gemacht oder versucht.

Die Ausgabe der Daten erfolgt dann als Grafiken, die mit einem Skript erzeugt werden und als Datei im Filesystem des Raspberry abgelegt werden. Sinnvollerweise macht man das z.B. in einem Verzeichnis, das über einen Webservice (z.B. Apache mit PHP-Skripts) im Raspberry in einem Browser beim Client dargestellt wird. Das hat dann mit dem Nodered Dashboard eher weniger zu tun.

Vorteil:
Die Datei, die die Datenbank beinhaltet (z.B. wetter.rrd) hat immer die selbe Größe. Daten, die aus einem Zyklus herausfallen, z.B. nach einer Woche, werden nach draußen geschoben, um den neuen Datensatz zu speichern.

Nachteil
Eine dynamische Bedienung ist nicht möglich. Ausgabe nur auf Grafikdateien möglich (.PNG, .JPG).

Zu 4.

Aus all den vorangegangenen Überlegungen, komme ich somit nun zu einer ganz anderen Lösung, nämlich eine Kombination aus allen Vorteilen. In aller Munde ist momentan (2019) der Einsatz eines kostenlosen Trios, erhältlich im Internet:

• NodeRed
• InfluxDB
• Grafana

Hier wird Nodered lediglich als Plattform zur Übermittlung der Daten an die InfluxDB Datenbank genutzt. Das Dashboard mit seinen Nodes von NodeRed wird hier nicht mehr benutzt, sondern Grafana.

1. ist Nodered dafür wie geschaffen mit Hilfe seine Knoten Daten zu empfangen, zu verarbeiten und weiter zu geben.
2. bietet InfluxDB als weiter entwickelte sog. Timeline Datenbank wie die Round Robin Datenbank alle erforderlichen Mechanismen wie bei den RRDtools an und
3. liefert Grafana ein Dashboard mit allen Möglichkeiten zur Darstellung von Werten in bestimmten Zeitfenstern, Perioden oder sonstigen Formen an, die um einiges flexibler sind in ihrer Gestaltung, Darstellung und Bedienung als das Nodered Dashboard.

 

Die Praxis zur Langzeitspeicherung von Wetterdaten

Ich entscheide mich somit für meine weitere Entwicklung meiner kleinen Wetterstation für genau diese Konstellation von Werkzeugen.

Vorbereitung

Es kann nicht schaden das Betriebssystem des Raspberry auf den neuesten Stand zu bringen:

$ sudo apt update
$ sudo apt upgrade
$ sudo reboot

Installation NodeRed

Diese Installation wurde schon beschrieben. Hier ist nichts weiter mehr erforderlich.

 

Installation InfluxDB

Download vom Internet und Installation

Die nachfolgenden Aktivitäten beschreiben die Erweiterung des Repos im Raspberry, die Installation und die Konfiguration zum automatischen Start beim Booten des Raspberry.

$ curl -sL https://repos.influxdata.com/influxdb.key | sudo apt-key add -

$ echo "deb https://repos.influxdata.com/debian stretch stable" | sudo tee /etc/apt/sources.list.d/influxdb.list

$ sudo apt update

$ sudo apt install influxdb

$ sudo systemctl enable influxdb

$ sudo systemctl start influxdb

Einrichten InfluxDB

Nun richte ich mir erstmal einen Benutzer dafür ein.

$ influx
> CREATE USER "pi" WITH PASSWORD 'raspberry' WITH ALL PRIVILEGES
> show users
user admin
---- -----
pi   true
> quit
$

Anpassen der Umgebung

Die Datei /etc/influxdb.conf muss nun noch angepasst werden, In der Sektion [http] sind die Zeilen zu finden, bei denen im Grunde nur die Raute # entfernt werden muss. Ich benutze dafür meinen Midnight Commander und rufe ihn mit sudo mc auf, navigiere auf die Datei und prüfe die folgenden Einträge:

[http]
enabled = true
bind-address = ":8086"
auth-enabled = true

Wenn man nun in einem Browser die Adresse des Raspberry mit der Portadresse der Datenbank http://raspberry-pi:8086 eingibt, sollte eine Meldung 404 page not found erscheinen. Das ist richtig so, weil noch kein Seite angelegt ist. Alles andere deutet auf eine falsche Installation hin.

 

Installation Grafana

Am besten schaut man direkt bei Grafana vorbei und holt sich die aktuelle Installation für seine Rechner-Plattform. Zu diesem Zeitpunkt hat Grafana speziell für den Raspberry eine Installation der Version 6.4.3 veröffentlicht, die ich von dieser Webseite aufrufe: https://grafana.com/grafana/download?platform=arm

Dort steht unter Ubuntu & Debian (ARMv6) die Vorgehensweise zur Installation

$ wget https://dl.grafana.com/oss/release/grafana-rpi_6.4.3_armhf.deb
$ sudo dpkg -i grafana-rpi_6.4.3_armhf.deb

Bei dieser Installation gibt es eine Meldung, dass eine Abhängigkeit nicht vorhanden ist und deswegen die Installation abgebrochen ist. Diese Abhängigkeit installiere ich nach:

$ sudo apt install libfontconfig

und beende die unfertige Installation mit

$ sudo apt --fix-broken install

Nun wird der Dienst in das System eingebunden

$ sudo systemctl daemon-reload
$ sudo systemctl enable grafana-server
$ sudo systemctl start grafana-server

Wenn alles korrekt durchgelaufen ist, sollte nun in einem Browser Grafana aufrufbar sein, Grafana benutzt den Port 3000 zur Kommunikation. Also: http://raspberry-pi:3000. In der nachfolgenden Anmeldung wird der Standardbenutzer admin mit Kennwort admin eingetragen.

In den weiteren Schritten werde ich nun meine Datenquellen, also die Sensoren einrichten und die gelieferten Daten abholen, speichern und zur Anzeige bringen.

Im Übrigen benutze ich immer noch den Raspberry Pi 2 mit Raspbian 9 (Stretch)!

Sensoren

Temperatur mit dem DS18B20

Aus dem Internet habe ich mir seinerzeit ein paar Temperatursensoren vom Typ Dallas (Maxim) DS18B20 beschafft. Der Stückpreis für einen solchen Sensor liegt mittlerweile weit unter 1 Euro. Der Vorteil dieses Sensors ist, dass er mit dem I²C-Protokoll angesprochen werden kann. Somit kann er mit einem Raspberry Pi direkt kommunizieren. D.h. man stellt ein Anfrage an das Device und man erhält eine Antwort. In diesem Fall die Temperatur des Gerätes. Die Kommunikation findet dabei von Haus aus über den GPIO 4 des Raspberry statt und kann im Grunde direkt angeschlossen werden.

Um aber keinen unkontrollierten Datenwust auf der Leitung zu bilden, benötigt der Daten-Pin GPIO 4 einen Pull-Up-Widerstand von irgendwas zwischen 1 und 47 kOhm gegen VDD (3,3V). Da es sich bei dem I²C-Anschluss um einen sog. Bus handelt, können an dieser Leitung mehrere Devices unabhängig voneinander angeschlossen werden. Sie unterscheiden sich voneinander erstmal in ihrer I²C-Bus-Nummer. Der DS18B20 hat zudem noch eine eigene Seriennummer, die über den Bus mit ausgeliefert wird. Dadurch kann man jeden einzelnen Sensor direkt mit seiner individuellen ID ansprechen und bestimmte Ausgaben zuordnen.

Der DS18B20 ist in einem TO-92-Gehäuse untergebracht und sieht demnach aus wie ein kleiner Transistor. Hier ein Bild mit der Pin-Belegung:

DQ ist dabei die Datenleitung, VDD ist die Stromversorgung 3,3V und GND eben die Masse (0V). Die nachfolgenden Anschluss-Bilder habe ich bei instructables.com ausgeliehen.

 

Natürlich nimmt man die Verkabelung im stromlosen Zustand des Raspberry vor. Nach dem Neustart des Raspberry kann man an der Konsole das Vorhandensein des Sensors abfragen.

Der DS18B20 Sensor mit der ID 28-00000756f09e ist somit ordentlich erkannt.

Nun braucht man natürlich noch eine Software zur Kommunikation mit dem Sensor. Nodered kann dafür einen zusätzlichen Knoten bereit stellen. Über den Paletten-Manager im Nodered wird das Modul node-red-contrib-sensor-ds18b20 dazu nachinstalliert. Bitte auf die Schreibweise achten, es gibt auch andere Nodes, die ähnlich geschrieben werden.

Nach der Installation ist in der Palette der Node zu sehen.

In der Node-Liste Raspberry Pi taucht nun auch der Knoten zur weiteren Verwendung auf:

Ich brauche diesen Node zweimal auf meinem Flow und schiebe dazu noch einen Chart- und einen Gauge-Node auf den Flow. Jetzt verbinde ich den ersten Sensor-Node mit dem Chart-Node und den zweiten Sensor-Node mit dem Gauge-Node.
Mit jeweils Doppelklick auf die Nodes öffnen sich die Eigenschaften. Beim Sensor-Node werden in einer Dropdown-Liste alle verfügbaren DS18B20-Sensoren angezeigt. Im ersten Node setze ich eine 300-Sekunden-Abfrage an meinen Sensor. Die zurückgegebene Temperatur wird dann im Chart-Node ausgegeben.

 

 

 

 

 

Mit dem Klick auf Deploy wird dieser Flow nun generiert und veröffentlicht.

Das sieht dann nach 7 Tagen Laufzeit in etwa so aus:

Dabei aktualisiert der Temperatur-Zeiger alle 10 Sekunden und die Temperatur-Kurve alle 5 Minuten.

Das sieht nun schon recht fluffig aus. Jedoch werden die Daten im Chart-Node nur solange zwischengespeichert, wie der kleine Rechner läuft. Nach jedem Neustart des Raspberry Pi beginnt der Node mit leeren Daten und füllt das Chart alle 5 Minuten mit einem neuen Wert auf.

Also wieder 7 Tage warten? Nicht doch… Das führt mich nun dahin, dass ich solche Daten in einer Datenbank ablege und nach Bedarf eine Darstellung von aktuellen sowie historischen Daten generiere. Wie man das macht erkläre ich im nächsten Teil 7 (m)einer kleinen Wetterstation.

Andere Sensoren

Der Vollständigkeit halber: Es gibt für den schmalen Geldbeutel eine Menge weiterer Sensoren und Aktoren für die unterschiedlichsten Anwendungen. Eine Übersicht findet man im Internet z.B. auf dieser Seite https://tutorials-raspberrypi.de/raspberry-pi-sensoren-uebersicht-die-50-wichtigsten-module/

 

Vorbereitung für die Ausgabe der Daten

Node-Red Sicherheit

Sobald die Wetterstation aus dem lokalen Netzwerk auch im Internet erreichbar ist, kann jeder, der die IP-Adresse kennt und Zugriff auf den Port hat, die Bedienoberfläche erreichen und alle Veränderungen in meinen Programmierungen vornehmen, die er möchte. Damit das nicht passiert, sichere ich den Zugang mit einem Benutzernamen und Kennwort ab. Beschrieben wird der Vorgang auf der Seite Node-RED : Security unter diesem Link: https://nodered.org/docs/security Die erforderliche Einstellung dazu wird in der Datei ~/.node-red/settings.js vorgenommen. Zusätzlich habe ich dazu Tool node-red-admin installiert. Das ist übrigens auf der Seite Node-Red : Command-line Administration unter diesem Link beschrieben: https://nodered.org/docs/node-red-admin.

Raspberry Pi aus dem Internet erreichbar

In meinem Router gebe ich für den Raspberry Pi den (Standard-) Port 1880 frei. Nach einem Neustart von Node-Red mit

node-red-stop
node-red-start

oder Neustart des Raspberry Pi ist der Zugang zur Entwicklungsoberfläche aus dem Internet nun über diesen Link erreichbar: dl8aap.ddns.net:1880. Wie man eine solche DynDNS-Adresse einrichtet. steht in vielen Beiträgen im Internet und soll nicht Bestandteil meiner Aufbaubeschreibung sein.

Installation Node-Red-Dashboard

Damit Daten auf einer Webseite im Internet dargestellt werden können, muss das Node-Red-Dashboard nachinstalliert werden.

Ich melde mich mit meinen Zugangsdaten an der Entwicklungsoberfläche an und installiere das Dashboard über den Paletten-Manager:

Über die Seite Palette wähle ich den Tab Install (1) und suche nach dashboard (2). Ich wähle den Eintrag node-red-dashboard und klicke auf den kleinen Button install (3). Das dauert nun eine Weile, bis der Button Close erscheint. 

Mit Close (4) schließe ich den Palettenmanager, und es stehen jetzt die Dashboard-Elemente zur weiteren Verwendung zur Verfügung. Im Grunde sind dies alles Elemente, die zur Darstellung auf (m)einer Internetseite benutzt werden können. Es stehen einige Tausend Nodes zum Download bereit. Es dürfen auch eigene Nodes erstellt werden.

Bei jeder Änderung wechselt der Button Deploy auf rot.

Mit einem Klick auf Deploy (1) werden dann die Änderungen gespeichert und übernommen und die neue Ausgabe erzeugt. Diese Ausgabe kann ich mir anschauen mit Klicken auf das Grafik-Symbol (2) und auf das Link-Symbol (3).

Da ich noch keine Elemente (UI nodes) hinterlegt bzw. programmiert habe, begrüßt mich Node-Red entsprechend und weist mich freundlich darauf hin noch einige Elemente in einen Flow hinzuzufügen und auszuliefern.

Der erste Flow

Ein erster Test könnte so aussehen:

Aufgabe: Gib mir jede Sekunde die aktuelle Rechnerzeit aus.

Lösung: Dazu platziere ich einen inject-node und einen debug-node auf die Arbeitsoberfläche und verbinde die beiden Nodes.

Ich öffne mit einem Doppelklick den inject-node. Im Edit-Fenster ändere ich den Repeat-Modus auf interval und stelle auf every 1 seconds. Die blauen Punkte zeigen an, dass eine Veränderung an diesem Knoten vorgenommen, aber noch nicht gespeichert wurde. Ein Klick auf Done, und der Node ist programmiert. 

Der debug-node ist schon passend vorbereitet, um eine Nachrichtenladung msg.payload vom inject-node im Debugfenster darzustellen.

Mit einem Klick auf Deploy wird dieser kleine Flow 1 gespeichert und ausgeliefert.

Jetzt erscheint im Debug-Fenster jede Sekunde die Ausgabe der aktuellen Rechnerzeit. Aber 1536668952289? Das ist die Unix-Zeit in Tausendstel Sekunden beginnend mit 1.1.1970 00:00 Uhr, die im Raspberry Pi läuft. Umgerechnet ist das 11.09.2018 14:32:03.289 Uhr.

 

Test des Internet-Dashboard

Aufgabe: Gib mir alle 7 Sekunden den Rückgabewert eines Internet-Ping von www.google.de und zeige den aktuellen Wert in einem Gauge-Knoten, sowie die Werte der letzten 12 Stunden in einer Liniengrafik auf dem Dashboard (für das Internet).

Lösung: Zunächst muss eine Oberfläche für das Dashboard vorbereitet werden. Node-Red weiß sonst nicht, wohin es die Elemente platzieren soll.

In der Sektion dashboard den Tab Layout wählen. Nun den Button +tab klicken. Damit wird quasi eine neue Seite erzeugt. Hinter diesem neuen Tab 1 kann man mit edit die Eigenschaften dieses Tabs anpassen. Ich wähle den Namen Home und bestätige dies mit Klick auf Update. Hinter dem neuen Home-Tab klicke ich auf +group. Es wird eine quasi eine Matrix für die neue Seite angelegt. Hierauf können die Ausgabe-Knoten ausgerichtet werden.

Jetzt platziere ich die notwendigen Nodes. Ein Ping-Node, ein Gauge-Node und ein Chart-Node und verbinde sie untereinander.

Doppelklick auf den Ping-Node öffnet den Edit-Modus. Hinter Target gebe ich ein: www.google.de. Hinter Ping (S) gebe ich ein: 7 und bestätige mit Done. Dieser Knoten sendet einen Internet-Ping alle 7 Sekunden an Google.de

Doppelklick auf den Gauge-Node öffnet den Edit-Modus. Hinter Group wähle ich aus der Auswahlbox den Eintrag Group 1 [Home]. Damit wird dieses Element auf die zuvor erzeugte Matrix gesetzt. Hinter Units gebe ich ein: ms, weil der Ping seine Nachrichtenladung in Millisekunden übergibt. Die Range bestimme ich mit min=0 und max=300. Bestätigung mit Done.

Doppelklick auf den Chart-Node öffnet den Edit-Modus. Hinter Group wähle ich aus der Auswahlbox den Eintrag Group 1 [Home]. Damit wird dieses Element ebenfalls auf die zuvor erzeugte Matrix gesetzt. Hinter x-axis gebe ich ein: last 12 hours. Hinter Y-axis gebe ich für min=0 und max=300 ein. Bestätigung mit Done.

Nun den Flow mit Deploy ausliefern und das fertige Ergebnis über das Link-Symbol anschauen.

Die Aufgabe ist somit erfüllt, das Dashboard funktioniert zur vollen Zufriedenheit.

Node-Red bietet die Möglichkeit den entwickelten Flow zu Speichern bzw. als Backup auszugeben. Das geht über den Menü-Button, Export und Clipboard. Der Flow wird damit in die Zwischenablage exportiert.

Über die Funktion Import kann so ein vollständiger Flow z.B. von Dritten oder aus einem Backup importiert werden.

In der folgenden Box ist das “Skript” für den obigen Flow enthalten. Per Copy & Paste kann der Flow importiert werden.

[{"id":"7f2aead6.b4c26c","type":"tab","label":"Flow 1","disabled":false,"info":""},{"id":"2886ee67.f5ad1a","type":"ping","z":"7f2aead6.b4c26c","name":"","host":"www.google.de","timer":"7","x":170,"y":120,"wires":[["6b9edf2f.a2da28","65f085df.5a9574"]]},{"id":"6b9edf2f.a2da28","type":"ui_gauge","z":"7f2aead6.b4c26c","name":"","group":"80e206a9.0b295","order":0,"width":0,"height":0,"gtype":"gage","title":"gauge","label":"ms","format":"{{value}}","min":0,"max":"300","colors":["#00b500","#e6e600","#ca3838"],"seg1":"","seg2":"","x":350,"y":100,"wires":[]},{"id":"65f085df.5a9574","type":"ui_chart","z":"7f2aead6.b4c26c","name":"","group":"80e206a9.0b295","order":0,"width":0,"height":0,"label":"chart","chartType":"line","legend":"false","xformat":"HH:mm:ss","interpolate":"linear","nodata":"","dot":false,"ymin":"0","ymax":"300","removeOlder":"12","removeOlderPoints":"","removeOlderUnit":"3600","cutout":0,"useOneColor":false,"colors":["#1f77b4","#aec7e8","#ff7f0e","#2ca02c","#98df8a","#d62728","#ff9896","#9467bd","#c5b0d5"],"useOldStyle":false,"x":350,"y":140,"wires":[[],[]]},{"id":"80e206a9.0b295","type":"ui_group","z":"","name":"Group 1","tab":"898387fe.649cd8","order":1,"disp":true,"width":"6","collapse":false},{"id":"898387fe.649cd8","type":"ui_tab","z":"","name":"Home","icon":"dashboard","order":1}]

Für alle weiteren Aktivitäten mit Node-Red empfehle ich das Studium des Node-Red Kochbuchs hinter diesem Link: https://cookbook.nodered.org/

Im Internet finden sich auch eine Menge Beiträge, die die unterschiedlichsten Themen zum Node-Red behandeln. Auch ich bin hier für ein paar spezielle Dinge schnell fündig geworden, die ich im weiteren Verlauf meines Installationsberichtes gerne weitergebe.

Ich denke es ist nun an der Zeit mit meiner Beschreibung im Teil 6 mit der Auswahl der passenden Sensoren am Raspberry Pi und die Verbindung mit dem Node-Red fortzufahren.