Sourceanalytics V 0.50 - Device Reset

[joergeli]

Hallo,

@DutchmanNL
Du hattest hier:
https://forum.iobroker.net/topic/40932/sourceanalytix-0-4-8-final-released/1482
am 15. Jan 2023 geschrieben, dass Sourceanalytics Versions 0.50 in Vorbereitung ist.
Wie ist denn da der aktuelle Status?

Ich frage deshalb, weil wir heute Nacht einen Stromausfall hatten und dadurch mal wieder das leidige Problem mit den Device Resets bei den Shellys aufgetreten ist (negative Werte).
Trotz mehrerer Anleitungen im obigen Thread von z.B. @crunchip77 ( RAW des Datenpunktes editieren, etc.) ist es mir nicht gelungen die Werte wieder gerade zu ziehen :-(
Nachdem ich die halbe Nacht rumprobiert habe, habe ich zum Schluß entnervt das Sourceanalytics-Logging für die entspr. Shellys deaktiviert und in den Sourceanalytics-Objekten die kpl. Shelly-Objektordner gelöscht.
Dann das SourceAnalytics-Logging wieder aktiviert, somit wurden die Shelly-Objektbäume wieder neu angelegt, jetzt war natürlich alles leer.
Fazit: Meine ganze Langzeitstatistik ist dadurch natürlich verloren :-(

Ich hoffe inständig, daß Du in der V 0.50 das Problem mit den Shelly-Deviceresets lösen konntest?
(natürlich nicht die Device-Resets selbst, sondern das Abfangen derer in Sourceanalytics)

Gruß
Jörg

[ossisp1]

Moin, passiert noch was an dem Adapter?
Gruß
Thorsten

[crunchip77]

@ossisp1 ja natürlich, allerdings kostet das Zeit und Geduld

[DutchmanNL]

die frage ist eher was die Ursache ist von der falschen resets bei dir mit den Shelly's, der device reset selber funktioniert und hat auch seinen schwellenwert also müsste man besser verstehen was schief geht.

Im gründe wird daran in 0.5 nichts geändert (ausser es ist notwendig) dafür fehlen aber details

[franks06347]

Hallo,
ich habe die Version v0.4.14 im Einsatz und ich habe den Haken "Erkennung der Zurücksetzung des Gerätewerts Aktiviert" im Objekt gesetzt.
Leider sind gestern wieder negative Werte durch einen Stromausfall eines Shellys entstanden:

Was mache ich falsch?

PS:
Ich habe mir jetzt als Notlösung einen Hilfsdatenpunkt mit folgendem Blockly angelegt:

Damit klappt es erst einmal:

Aber für jeden Shelly so einen Hilfsdatenpunkt anlegen, ist zu aufwändig.

Viele Grüße
Frank

[DutchmanNL]

@franks06347 währe interessant zu wissen was im log kam

[franks06347]

Log kommt ... Moment

[franks06347]

Vom Adapter sourceanalytix wurde folgendes geloggt:

2023-11-21 20:56:09.465 - info: sourceanalytix.0 (690971) Device reset detected for alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.FROSTSCHUTZ ENERGY, feature disabled (or below threshold) processing normally)
2023-11-21 21:15:57.811 - info: sourceanalytix.0 (690971) Updating SourceAnalytix configuration for : alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.CONSUMPTION
2023-11-21 21:15:58.082 - info: sourceanalytix.0 (690971) Updating SourceAnalytix configuration for : alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.FROSTSCHUTZ ENERGY
2023-11-21 21:15:58.098 - info: sourceanalytix.0 (690971) Updating SourceAnalytix configuration for : alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.HEIZLEISTUNG
2023-11-21 21:15:58.767 - info: sourceanalytix.0 (690971) Device reset detected for alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.FROSTSCHUTZ ENERGY, feature disabled (or below threshold) processing normally)
2023-11-21 21:20:28.584 - info: sourceanalytix.0 (690971) Device reset detected for alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.CONSUMPTION, feature disabled (or below threshold) processing normally)

[franks06347]

Der Haken ist gesetzt, Schwellwert ist 1:

trotzdem im log:
2023-11-21 21:20:28.584 - info: sourceanalytix.0 (690971) Device reset detected for alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.CONSUMPTION, feature disabled (or below threshold) processing normally)

[DutchmanNL]

@franks06347 hmm schau mal hier

"feature disabled (or below threshold)"

Zeig mal bitte die Einstellungen für den datenpunkt.
Entweder war Device reset nicht aktiviert oder der Unterschied war < als die definierte Hemmschwelle

[franks06347]

Der Schwellwert war größer "1"

[DutchmanNL]

Der Schwellwert war größer "1"

Zeig mal bitte:

• Screenshot der Einstellungen auf dem datenpunkt den du loggst
  (Edit: sorry war ja schon da hat bei mir nicht geladen)
• mal den kompletten Inhalt des Objektes (auf den Bleistift drücken und alles darin mal hier rein kopieren, bitte in "Code" Blocks ist lesbarer 😉)

Wir kommen der Sache jetzt endlich näher bisher konnte ich (auch im Forum) keine pattern erkennen wan/warum es geschieht die Info hier sind aber sehr hilfreich

[franks06347]

meinst du das

{
"_id": "alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.CONSUMPTION",
"native": {},
"type": "state",
"common": {
"alias": {
"id": "0_userdata.0.EFH.Heizung.Wolf-WP-BWL-1S-07.WolfWPVerbrauchBackup"
},
"name": "Consumption Heizung WP",
"role": "value.power.consumption",
"write": false,
"type": "number",
"unit": "Wh",
"custom": {
"sourceanalytix.0": {
"enabled": true,
"selectedUnit": "Wh",
"start_day": 58.362566,
"start_week": 60.714534,
"start_month": 0,
"start_quarter": 0,
"start_year": 0,
"consumption": true,
"meter_values": true,
"selectedPrice": "Electricity",
"valueAtDeviceReset": 57.9346,
"valueAtDeviceInit": null,
"cumulativeValue": 58.362566,
"deviceResetLogicEnabled": true,
"threshold": 1
},
"statistics.0": {
"enabled": true,
"count": false,
"fiveMin": false,
"sumCount": false,
"impUnitPerImpulse": 1,
"impUnit": "",
"timeCount": false,
"avg": false,
"minmax": false,
"sumDelta": true,
"sumIgnoreMinus": true,
"groupFactor": 1,
"logName": "CONSUMPTIONWolfWP",
"sumGroup": "energy"
}
}
},
"acl": {
"object": 1636,
"state": 1636,
"owner": "system.user.admin",
"ownerGroup": "system.group.administrator"
},
"from": "system.adapter.admin.0",
"user": "system.user.admin",
"ts": 1700632631132
}

[franks06347]

sorry ... das war mein hilfsdatenpunkt

[franks06347]

hier der richtige:

{
"_id": "alias.0.Alles.Hauswirtschaftsraum.Heizung_WP.CONSUMPTION",
"native": {},
"type": "state",
"common": {
"alias": {
"id": "shelly.0.shellypmmini#6055f99c412c#1.PM1:0.Energy"
},
"name": "Consumption Heizung WP",
"role": "value.power.consumption",
"write": false,
"type": "number",
"unit": "Wh",
"custom": {
"sourceanalytix.0": {
"enabled": true,
"selectedUnit": "Wh",
"start_day": 58.362566,
"start_week": 60.714534,
"start_month": 0,
"start_quarter": 0,
"start_year": 0,
"consumption": true,
"meter_values": true,
"selectedPrice": "Electricity",
"valueAtDeviceReset": 57.9346,
"valueAtDeviceInit": null,
"cumulativeValue": 58.362566,
"deviceResetLogicEnabled": true,
"threshold": 1
},
"statistics.0": {
"enabled": true,
"count": false,
"fiveMin": false,
"sumCount": false,
"impUnitPerImpulse": 1,
"impUnit": "",
"timeCount": false,
"avg": false,
"minmax": false,
"sumDelta": true,
"sumIgnoreMinus": true,
"groupFactor": 1,
"logName": "CONSUMPTIONWolfWP",
"sumGroup": "energy"
}
}
},
"acl": {
"object": 1636,
"state": 1636,
"owner": "system.user.admin",
"ownerGroup": "system.group.administrator"
},
"from": "system.adapter.admin.0",
"user": "system.user.admin",
"ts": 1700638138400
}

[DutchmanNL]

@franks06347 perfekt danke dir!
Ich sehe da schonmal was merkwürdiges was ich prüfen muss melde mich später

[Herbert-Testmann]

Hallo
ich hatte gestern einen Spannungsausfall und bei mehreren (allen) Geräten hat die Erkennung des Rücksetzens auf 0 nicht funktioniert. Also habe ich jetzt überall negative Werte.
Kann / soll ich zur Fehlersuche noch etwas beitragen oder erst mal abwarten?

[DutchmanNL]

Hallo

ich hatte gestern einen Spannungsausfall und bei mehreren (allen) Geräten hat die Erkennung des Rücksetzens auf 0 nicht funktioniert. Also habe ich jetzt überall negative Werte.

Kann / soll ich zur Fehlersuche noch etwas beitragen oder erst mal abwarten?

Hättest du eventuell das log für mich von diesem Zeitpunkt und die Einstellungen der Objekte ?

[Herbert-Testmann]

`
2023-11-21 13:56:10.136 - info: info.0 (7384) starting. Version 2.0.0 in C:/ioBroker/node_modules/iobroker.info, node: v18.17.1, js-controller: 5.0.12

2023-11-21 13:56:10.208 - info: info.0 (7384) Reading/updating systemdata.
2023-11-21 13:56:13.603 - info: host.win11-23 instance system.adapter.web.0 started with pid 7724
2023-11-21 13:56:14.724 - info: web.0 (7724) starting. Version 6.1.10 in C:/ioBroker/node_modules/iobroker.web, node: v18.17.1, js-controller: 5.0.12
2023-11-21 13:56:14.908 - info: web.0 (7724) socket.io server listening on port 8082
2023-11-21 13:56:14.913 - info: web.0 (7724) http server listening on port 8082
2023-11-21 13:56:16.151 - info: web.0 (7724) ==> Connected system.user.admin from 192.168.1.191
2023-11-21 13:56:18.590 - info: host.win11-23 instance system.adapter.sourceanalytix.0 started with pid 7444
2023-11-21 13:56:19.793 - info: sourceanalytix.0 (7444) starting. Version 0.4.14 in C:/ioBroker/node_modules/iobroker.sourceanalytix, node: v18.17.1, js-controller: 5.0.12
2023-11-21 13:56:19.809 - info: sourceanalytix.0 (7444) Welcome to SourceAnalytix, making things ready ...
2023-11-21 13:56:23.981 - info: sourceanalytix.0 (7444) Found 12 SourceAnalytix enabled states
2023-11-21 13:56:23.982 - info: sourceanalytix.0 (7444) Initialising (1 of 12) "hm-rega.0.44242"
2023-11-21 13:56:24.553 - info: info.0 (7384) State value to set for "info.0.sysinfo.cpu.info.speed" has to be type "string" but received type "number"
2023-11-21 13:56:24.646 - info: info.0 (7384) Reading CPU data every 100 seconds.
2023-11-21 13:56:25.862 - info: sourceanalytix.0 (7444) Device reset detected for hm-rega.0.44242, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:25.932 - info: sourceanalytix.0 (7444) Initialization of hm-rega.0.44242 successfully
2023-11-21 13:56:25.932 - info: sourceanalytix.0 (7444) Initialising (2 of 12) "hm-rpc.0.KEQ0971587.2.ENERGY_COUNTER"
2023-11-21 13:56:26.279 - info: info.0 (7384) cpu Temp res = {"main":27.8,"cores":[27.8],"max":27.8,"socket":[],"chipset":null}
2023-11-21 13:56:26.293 - info: info.0 (7384) Reading CPU temp data every 100 seconds.
2023-11-21 13:56:26.325 - info: info.0 (7384) Reading CPU current speed every 100 seconds.
2023-11-21 13:56:27.090 - info: sourceanalytix.0 (7444) Device reset detected for hm-rpc.0.KEQ0971587.2.ENERGY_COUNTER, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:27.144 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.0.KEQ0971587.2.ENERGY_COUNTER successfully
2023-11-21 13:56:27.144 - info: sourceanalytix.0 (7444) Initialising (3 of 12) "hm-rpc.0.LEQ1344854.2.ENERGY_COUNTER"
2023-11-21 13:56:27.923 - info: info.0 (7384) Reading memory data every 66 seconds.
2023-11-21 13:56:28.187 - info: sourceanalytix.0 (7444) Device reset detected for hm-rpc.0.LEQ1344854.2.ENERGY_COUNTER, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:28.265 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.0.LEQ1344854.2.ENERGY_COUNTER successfully
2023-11-21 13:56:28.265 - info: sourceanalytix.0 (7444) Initialising (4 of 12) "hm-rpc.0.MEQ0025548.1.GAS_ENERGY_COUNTER"
2023-11-21 13:56:30.165 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.0.MEQ0025548.1.GAS_ENERGY_COUNTER successfully
2023-11-21 13:56:30.165 - info: sourceanalytix.0 (7444) Initialising (5 of 12) "hm-rpc.0.OEQ0070768.2.ENERGY_COUNTER"
2023-11-21 13:56:31.214 - info: sourceanalytix.0 (7444) Device reset detected for hm-rpc.0.OEQ0070768.2.ENERGY_COUNTER, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:31.303 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.0.OEQ0070768.2.ENERGY_COUNTER successfully
2023-11-21 13:56:31.304 - info: sourceanalytix.0 (7444) Initialising (6 of 12) "hm-rpc.1.0001D3C990BF8F.6.ENERGY_COUNTER"
2023-11-21 13:56:32.451 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.0001D3C990BF8F.6.ENERGY_COUNTER successfully
2023-11-21 13:56:32.451 - info: sourceanalytix.0 (7444) Initialising (7 of 12) "hm-rpc.1.0001D3C99C6758.6.ENERGY_COUNTER"
2023-11-21 13:56:33.575 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.0001D3C99C6758.6.ENERGY_COUNTER successfully
2023-11-21 13:56:33.576 - info: sourceanalytix.0 (7444) Initialising (8 of 12) "hm-rpc.1.0001D70994EA29.6.ENERGY_COUNTER"
2023-11-21 13:56:34.079 - info: info.0 (7384) Reading battery data every 8 seconds.
2023-11-21 13:56:34.834 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.0001D70994EA29.6.ENERGY_COUNTER successfully
2023-11-21 13:56:34.834 - info: sourceanalytix.0 (7444) Initialising (9 of 12) "hm-rpc.1.0001D70994EA37.6.ENERGY_COUNTER"
2023-11-21 13:56:37.061 - info: web.0 (7724) <== Disconnect system.user.admin from 192.168.1.191 vis.0
2023-11-21 13:56:37.313 - info: web.0 (7724) ==> Connected system.user.admin from 192.168.1.191
2023-11-21 13:56:37.734 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.0001D70994EA37.6.ENERGY_COUNTER successfully
2023-11-21 13:56:37.734 - info: sourceanalytix.0 (7444) Initialising (10 of 12) "hm-rpc.1.000B9BE9A24AFA.5.ENERGY_COUNTER"
2023-11-21 13:56:39.312 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.000B9BE9A24AFA.5.ENERGY_COUNTER successfully
2023-11-21 13:56:39.313 - info: sourceanalytix.0 (7444) Initialising (11 of 12) "hm-rpc.1.000B9F2994D62F.5.ENERGY_COUNTER"
2023-11-21 13:56:41.258 - info: sourceanalytix.0 (7444) Device reset detected for hm-rpc.1.000B9F2994D62F.5.ENERGY_COUNTER, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:41.348 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.000B9F2994D62F.5.ENERGY_COUNTER successfully
2023-11-21 13:56:41.349 - info: sourceanalytix.0 (7444) Initialising (12 of 12) "hm-rpc.1.003AA0C98D91BC.6.ENERGY_COUNTER"
2023-11-21 13:56:42.004 - info: sourceanalytix.0 (7444) Device reset detected for hm-rpc.1.003AA0C98D91BC.6.ENERGY_COUNTER, feature disabled (or below threshold) processing normally)
2023-11-21 13:56:42.044 - info: sourceanalytix.0 (7444) Initialization of hm-rpc.1.003AA0C98D91BC.6.ENERGY_COUNTER successfully
2023-11-21 13:56:42.050 - info: sourceanalytix.0 (7444) Successfully activated SourceAnalytix for 12 of 12 states, will do my Job until you stop me!
2023-11-21 13:56:46.794 - info: info.0 (7384) Reading user data every 8 seconds.
2023-11-21 13:56:48.334 - info: info.0 (7384) Reading process data every 8 seconds.
2023-11-21 13:56:50.803 - info: info.0 (7384) State value to set for "info.0.sysinfo.disks.blockDevices.dev0.size" has to be type "number" but received type "string"

`

[Herbert-Testmann]

{ "type": "state", "common": { "def": 0, "type": "number", "read": true, "write": false, "min": 0, "max": 838860.7, "unit": "Wh", "name": "ZwStecker_21-GetraenkeKuehschrank.ENERGY_COUNTER", "role": "value.power.consumption", "custom": { "sql.0": { "enabled": true, "storageType": "", "counter": false, "aliasId": "", "debounceTime": 0, "blockTime": 0, "changesOnly": true, "changesRelogInterval": "86400", "changesMinDelta": "0.01", "ignoreBelowNumber": "", "disableSkippedValueLogging": false, "retention": 0, "customRetentionDuration": 365, "maxLength": 10, "enableDebugLogs": false, "debounce": 100 }, "sourceanalytix.0": { "enabled": true, "selectedUnit": "Detect automatically", "deviceResetLogicEnabled": true, "threshold": 0.0001, "start_day": 0.2729, "start_week": 63.295300000000005, "start_month": 50.784, "start_quarter": 28.578500000000002, "start_year": 0, "alias": "Getraenke_Leistung_Analyse", "selectedPrice": "Strombezug", "costs": true, "consumption": true, "valueAtDeviceReset": 0, "valueAtDeviceInit": null, "cumulativeValue": 0.2729 } } }, "native": { "CONTROL": "POWERMETER.ENERGY_COUNTER", "DEFAULT": 0, "FLAGS": 1, "ID": "ENERGY_COUNTER", "MAX": 838860.7, "MIN": 0, "OPERATIONS": 5, "TAB_ORDER": 0, "TYPE": "FLOAT", "UNIT": "Wh" }, "_id": "hm-rpc.0.KEQ0971587.2.ENERGY_COUNTER", "acl": { "object": 1636, "state": 1636, "owner": "system.user.admin", "ownerGroup": "system.group.administrator" }, "from": "system.adapter.sourceanalytix.0", "user": "system.user.admin", "ts": 1700607600047 }

[Herbert-Testmann]

BTW ich hatte vor einigen Tagen einen Überlauf des Zählers im Gerät und er hat bei 0 angefangen. Das hatte auch nicht funktioniert bzw. wurde nicht erkannt.

[DutchmanNL]

@Herbert-Testmann hmmm auch hier

"feature disabled (or below threshold) processing normally)"

Der Adapter hat also den Device Rest nicht erkannt das wundert mich.

Ich bräuchte mal bitte:

• die Einstellungen des datenpunkt (Screenshot)
• den Inhalt des Objektes (auf den Bleistift drücken und in Inhalt copy/paste)

[DutchmanNL]

@Herbert-Testmann herzlichen dank!

"deviceResetLogicEnabled": true, "threshold": 0.0001,

Ist also definitiv aktiviert und auch niedriger Schwellenwert, ich muss das mal mit den Einstellungen reproduzieren

[Easyrunner]

Auch bei mir einer der nervigsten Baustellen.

Dabei trifft ja SA keine Schuld, sondern versucht nur das auszubügeln.
Das Problem ist wahrscheinlich generell, dass aktuelle Werte nicht ständig in ein Flash geschrieben werden sollen da es auf die Lebensdauer geht.
Und wenn mal der Strom weg ist, sind eben die kumulierten Energiewerte futsch.

Ich habe einige Shellys, Homematic und SONOFF Switches die ich mit SA "observiere".
Bei den meisten jedoch korrigiere ich den Stand, in dem ich den alten Wert dann einfach zu dem neuen hinzuaddiere.
Das über einen neuen Datenpunkt, den ich dann auf SA setze.

Das macht aber wohl auch noch einmal einen Unterschied bei dem SA Workaround zur Korrektur.

Was aber generell bei einer neuen Version helfen könnte, wäre, im Fall einer Zurücksetzung, dass diese über einen Datenpunkt gemeldet wird, am besten mit dem alten, letzten Wert, und wann das war.

[Easyrunner]

...was ich ganz vergessen habe.

Ich kann neuerdings den SA workaround nicht mehr machen, da ich keine JSON mehr schreiben kann.
Wenn ich es editieren möchte wird der Rahmen rot und der "schreiben" Button ist ausgegraut.
Bin natürlich im Expertenmodus.

[crunchip77]

Wenn ich es editieren möchte wird der Rahmen rot und der "schreiben" Button ist ausgegraut.

Rot wird es eigentlich nur bei einem Fehlerhaften Eintrag. Oder ein Problem seitens Admin.
Da wäre ggf Adapter Version hilfreich.

[Easyrunner]

Ich hatte umgestellt auf stable.
Admin hat 6.13.16
SA hat 0.4.15-alpha.1

[klostopfer]

Guten Tag in die Runde,

wie ist denn der Stand bei diesem Bug? Hast du ihn mittlerweile ermitteln können? Ich hab auch noch ein Log und die anderen Infos, falls dir das was hilft um in dem Fehler weiterzukommen.

{
"type": "state",
"common": {
"name": "Energy",
"type": "number",
"role": "value.power.consumption",
"read": true,
"write": false,
"def": 0,
"unit": "Wh",
"custom": {
"sourceanalytix.0": {
"enabled": true,
"selectedUnit": "Wh",
"deviceResetLogicEnabled": true,
"threshold": 1,
"start_day": 39.50143,
"start_week": 39.50143,
"start_month": 20.7022,
"start_quarter": 22.60562,
"start_year": 4.17212,
"alias": "IT",
"selectedPrice": "ElectricityDay",
"costs": true,
"consumption": true,
"basicRate": true,
"meter_values": true,
"valueAtDeviceReset": 0,
"valueAtDeviceInit": null,
"cumulativeValue": 39.50143
}
}
},
"native": {},
"_id": "shelly.0.SHPLG-S#4022D889A15D#1.Relay0.Energy",
"acl": {
"object": 1636,
"state": 1636,
"owner": "system.user.admin",
"ownerGroup": "system.group.administrator"
},
"from": "system.adapter.shelly.0",
"user": "system.user.admin",
"ts": 1731360549118
}

Einstellungen des Datenpunkts:

Auszug aus dem Logfile (leider nicht Debug-Modus an):

Und der aktuelle Datenpunkt von SA:

Viele Grüße
Martin