Na update naar DSMR 6 Too many unprocessed readings

[jan-splinter]

Hallo,

Dus om maar direct clean te komen ik heb niets geen instructie gevolgd en had er eerlijk gezegd niet over nagedacht toen ik dit deed. Maar ik heb docker pull en compose uitgevoerd op zon beetje al mn containers en ook DSMR. Mijn overige issues heb ik op kunnen lossen en ik was onder de veronderstelling dat DSMR ook goed werkte tot ik dus de volgende dag pas zag dat ik heel veel unprocessed readings heb.

Nu kan ik alleen maar aannemen dat het door de upgrade komt. Het probleem is dat ik niet weet van welke versie ik kom, ik vermoed ergens in de 5. (want ik was klaar en dacht mooi docker prune)

Omdat het docker was heb ik ter test alles weg gegooid en opnieuw gebouwd. In dit geval werkt DSMR helemaal perfect maar zodra ik mijn oude backup importeer komen de telegram meldingen direct terug.

Ik zie dat de telegrams binnenkomen en het live gebruik werkt maar er wordt niets opgeslagen in de database.

In de logs zie ik geen fouten of ik herken ze niet.

Nu hoop ik dat iemand het hier weet want ik kom er zelf niet meer uit.

Mocht het niet mogelijk zijn dit op te lossen is het dan misschien mogelijk om alleen de meterstanden over te zetten? en verder niets aan te passen? Aangezien alles werkt tot ik de vorige database terugzet? Dit laatste heb ik nog niet geprobeerd en liever doe ik dat ook niet want dan ben ik weer een dag aan telegrams kwijt.

Ik reageer mogelijk wat traag want ik heb meestal pas in de avond tijd om hier naar te kijken :(

Maar mocht er meer informatie nodig zijn laat het me vooral weten dan probeer ik het asap aan te leveren. Voorlopig output van mijn logs en mijn docker compose file.

Nog extra info: Ik gebruik een pi met het datalogger script die het naar deze instance stuurt.
De backup heb ik pas gemaakt toen ik er achter kwam dat de teller opliep.

Hieronder de output van de logs: gecombineerd:

sudo docker compose logs -f

dsmr    | /package/admin/s6-overlay/libexec/preinit: info: container permissions: uid=0 (root), euid=0, gid=0 (root), egid=0
dsmr    | /package/admin/s6-overlay/libexec/preinit: info: /run permissions: uid=0 (root), gid=0 (root), perms=oxorgxgruxuwur
dsmr    | s6-rc: info: service s6rc-fdholder: starting
dsmr    | s6-rc: info: service s6rc-oneshot-runner: starting
dsmr    | s6-rc: info: service s6rc-oneshot-runner successfully started
dsmr    | s6-rc: info: service fix-attrs: starting
dsmr    | s6-rc: info: service init-start: starting
dsmr    | s6-rc: info: service fix-attrs successfully started
dsmr    | s6-rc: info: service legacy-cont-init: starting
dsmr    | s6-rc: info: service s6rc-fdholder successfully started
dsmr    | s6-rc: info: service svc-nginx-log: starting
dsmr    | s6-rc: info: service svc-dsmr-webinterface-log: starting
dsmr    | s6-rc: info: service svc-dsmr-remote-datalogger-log: starting
dsmr    | s6-rc: info: service svc-dsmr-datalogger-log: starting
dsmr    | s6-rc: info: service svc-dsmr-backend-log: starting
dsmr    | s6-rc: info: service svc-nginx-log successfully started
dsmr    | s6-rc: info: service svc-dsmr-remote-datalogger-log successfully started
dsmr    | s6-rc: info: service svc-dsmr-webinterface-log successfully started
dsmr    | s6-rc: info: service svc-dsmr-datalogger-log successfully started
dsmr    | s6-rc: info: service svc-dsmr-backend-log successfully started
dsmr    | s6-rc: info: service legacy-cont-init successfully started
[ INFO ] init-start | Starting
[ INFO ] init-start | Architecture: X64
dsmr    | s6-rc: info: service init-start successfully started
dsmr    | s6-rc: info: service init-useradd: starting
[ INFO ] init-useradd | Starting
dsmr    | usermod: no changes
dsmr    | 
dsmr    | 
dsmr    |     ───────────────────────────────────────────────────
dsmr    | 
dsmr    | 
dsmr    |      ___  ___ __  __ ___   ___             _
dsmr    |     |   \/ __|  \/  | _ \ | _ \___ __ _ __| |___ _ _
dsmr    |     | |) \__ \ |\/| |   / |   / -_) _` / _` / -_) '_|
dsmr    |     |___/|___/_|  |_|_|_\ |_|_\___\__,_\__,_\___|_|
dsmr    |                  __           _
dsmr    |                 |   \ ___  __| |_____ _ _
dsmr    |                 | |) / _ \/ _| / / -_) '_|
dsmr    |                 |___/\___/\__|_\_\___|_|
dsmr    | 
dsmr    | 
dsmr    |     DSMR-protocol reader, telegram data storage and
dsmr    |             energy consumption visualizer.
dsmr    | 
dsmr    | 
dsmr    | 
dsmr    | 
dsmr    |     ───────────────────────────────────────────────────
dsmr    |     User UID: 1000
dsmr    |     User GID: 1000
dsmr    |     ───────────────────────────────────────────────────
dsmr    |     DSMR Reader version: 6.1.2
dsmr    |     DSMR Reader Docker version: 20260628.433
dsmr    |     DSMR Reader Docker build-date: 20260628-1139
dsmr    |     ───────────────────────────────────────────────────
dsmr    | 
dsmr    | 
[ INFO ] init-useradd | Setting up directories and permissions
dsmr    | s6-rc: info: service init-useradd successfully started
dsmr    | s6-rc: info: service init-validate: starting
dsmr    | s6-rc: info: service init-devices: starting
dsmr    | s6-rc: info: service init-container-secrets: starting
dsmr    | s6-rc: info: service init-container-run-mode: starting
[ INFO ] init-devices | Starting
[ INFO ] init-devices | Checking tty devices (/dev/ttyUSB*, /dev/ttyAMA*, /dev/ttyACM*)
[ INFO ] init-container-run-mode | Starting
[ OKAY ] init-container-run-mode | Running as SERVER REMOTE DATALOGGER (expects remote datalogger input)
dsmr    | s6-rc: info: service init-devices successfully started
dsmr    | s6-rc: info: service init-container-run-mode successfully started
[ INFO ] init-validate | Starting
[ INFO ] init-validate | Operation mode: server_remote_datalogger
[ INFO ] init-container-secrets | Processing container secrets
[ WARN ] init-validate | Default DJANGO_DATABASE_PASSWORD detected, this is a security risk, please set a secure value
[ OKAY ] init-validate | Validation complete
dsmr    | s6-rc: info: service init-validate successfully started
dsmr    | s6-rc: info: service init-dsmr-and-db: starting
[ OKAY ] init-container-secrets | Loaded container secret: SECRET
dsmr    | s6-rc: info: service init-container-secrets successfully started
[ INFO ] init-dsmr-and-db | Starting
[ INFO ] init-dsmr-and-db | Connecting to database: dsmrdb:5432
[ OKAY ] init-dsmr-and-db | Database connection established after 1 attempt(s)
[ INFO ] init-dsmr-and-db | Running Django post-configuration
dsmr    | Django configuration: dsmrreader.config.production
dsmr    | Operations to perform:
dsmr    |   Apply all migrations: admin, auth, contenttypes, dsmr_api, dsmr_backend, dsmr_backup, dsmr_consumption, dsmr_datalogger, dsmr_dropbox, dsmr_frontend, dsmr_influxdb, dsmr_mindergas, dsmr_mqtt, dsmr_notification, dsmr_pvoutput, dsmr_stats, dsmr_weather, sessions
dsmr    | Running migrations:
dsmr    |   No migrations to apply.
dsmr    | Django configuration: dsmrreader.config.production
dsmrdb  | 
dsmrdb  | 
dsmrdb  | PostgreSQL Database directory appears to contain a database; Skipping initialization
dsmrdb  | 
dsmrdb  | 
dsmrdb  | 2026-07-28 20:29:19.684 CEST [1] LOG:  starting PostgreSQL 17.10 on x86_64-pc-linux-musl, compiled by gcc (Alpine 15.2.0) 15.2.0, 64-bit
dsmrdb  | 2026-07-28 20:29:19.685 CEST [1] LOG:  listening on IPv4 address "0.0.0.0", port 5432
dsmrdb  | 2026-07-28 20:29:19.685 CEST [1] LOG:  listening on IPv6 address "::", port 5432
dsmrdb  | 2026-07-28 20:29:20.340 CEST [1] LOG:  listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432"
dsmrdb  | 2026-07-28 20:29:21.075 CEST [29] LOG:  database system was shut down at 2026-07-28 20:28:40 CEST
dsmrdb  | 2026-07-28 20:29:21.221 CEST [1] LOG:  database system is ready to accept connections
dsmr    | 
dsmr    | 
dsmr    | 6189 static files copied to '/var/www/dsmrreader/static'.
dsmr    | Django configuration: dsmrreader.config.production
dsmr    | Updating password of superuser "admin"
dsmr    | Deactivating any other existing superusers
[ OKAY ] init-dsmr-and-db | Django configuration completed
dsmr    | s6-rc: info: service init-dsmr-and-db successfully started
dsmr    | s6-rc: info: service init-nginx: starting
[ INFO ] init-nginx | Starting
[ WARN ] init-nginx | DJANGO_CSRF_TRUSTED_ORIGINS not set, leaving unset
[ INFO ] init-nginx | Setting up directories and permissions - init-nginx
[ INFO ] init-nginx | Configuring NGINX to listen on port 80
[ INFO ] init-nginx | Disabling NGINX access logs
[ INFO ] init-nginx | SSL disabled
[ INFO ] init-nginx | HTTP authentication disabled
[ INFO ] init-nginx | Client certificate authentication disabled
dsmr    | s6-rc: info: service init-nginx successfully started
dsmr    | s6-rc: info: service svc-dsmr-webinterface: starting
dsmr    | s6-rc: info: service svc-dsmr-remote-datalogger: starting
dsmr    | s6-rc: info: service svc-dsmr-datalogger: starting
dsmr    | s6-rc: info: service svc-dsmr-backend: starting
dsmr    | s6-rc: info: service svc-dsmr-remote-datalogger successfully started
dsmr    | s6-rc: info: service svc-dsmr-datalogger successfully started
dsmr    | s6-rc: info: service svc-dsmr-backend successfully started
dsmr    | s6-rc: info: service svc-dsmr-webinterface successfully started
dsmr    | s6-rc: info: service svc-nginx: starting
dsmr    | s6-rc: info: service svc-nginx successfully started
dsmr    | s6-rc: info: service legacy-services: starting
[ INFO ] svc-dsmr-backend | Starting
[ INFO ] svc-dsmr-datalogger | Disabled for mode server_remote_datalogger
[ INFO ] svc-dsmr-webinterface | Starting
[ INFO ] svc-dsmr-remote-datalogger | Disabled for mode server_remote_datalogger
[ INFO ] svc-nginx | Waiting for webinterface socket (1/20)
dsmr    | s6-rc: info: service legacy-services successfully started
[ INFO ] svc-nginx | Waiting for webinterface socket (2/20)
dsmr    | [2026-07-28 20:30:27 +0200] [254] [INFO] Starting gunicorn 23.0.0
dsmr    | [2026-07-28 20:30:27 +0200] [254] [INFO] Listening at: unix:/run/gunicorn/dsmr_webinterface.socket (254)
dsmr    | [2026-07-28 20:30:27 +0200] [254] [INFO] Using worker: sync
dsmr    | [2026-07-28 20:30:27 +0200] [310] [INFO] Booting worker with pid: 310
[ OKAY ] svc-nginx | Webinterface socket ready

Mijn compose file:

Ter info die postgres commands en tempfs zijn er om HDD verkeer te verminderen ik had iets te veel containers op de NAS draaien waaradoor onder andere DSMR enorm veel CPU gebruikte terwijl deze op de disk stond te wachten. Deze instellingen gebruikte ik voor de vorige versie ik heb alleen geupdate om compliant te zijn met versie 6.

version: '3'

services:
  dsmrdb:
    # When using Postgres, release 13.x, 14.x, 15.x, and 16.x are supported only
    # due to the limited availability of client packages, especially for arm32v7
    image: postgres:17-alpine
    container_name: dsmrdb
    command: # command secion to reduce write behaviour. 
      - "postgres"
      - "-c"
      - "synchronous_commit=off"
      - "-c"
      - "commit_delay=100000"
      - "-c"
      - "wal_writer_delay=10000"
      # More ram saving attempt 
      - "-c"
      - "shared_buffers=256MB"      # Directe database cache in RAM (pas aan naar wens)
      - "-c"
      - "effective_cache_size=768MB" # Vertelt Postgres hoeveel RAM er over is voor OS caching
      - "-c"
      - "work_mem=32MB"             # RAM per actieve query (voorkomt schrijven naar disk bij sorteren)
    restart: always
    volumes:
      - /volume1/docker/dsmr/database/data:/var/lib/postgresql/data
#      - /volume1/docker/dsmr/dsmr_database/postgresql17:/var/lib/postgresql/data  # PostgreSQL version 17 and lower
      - /volume1/docker/dsmr/backup/database_import:/run/database-import
    # Geeft de database gegarandeerde ademruimte in het RAM (net als bij Immich):
    shm_size: 256mb
    environment:
      - TZ=Europe/Amsterdam # ik las dat deze weg moest maar ik zie hem wel in het ENV voorbeeld https://github.com/dsmrreader/dsmr-reader/blob/v6/provisioning/container/compose.prod.env. Ook getest geen verschil.
      - PG_TZ=Europe/Amsterdam
      - POSTGRES_DB=dsmrreader
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=dsmrreader
      - DUID=1027
      - DGID=100
#      - DSMRREADER_OPERATION_MODE=api_server
      - DB_STORAGE_TYPE=HDD # Make database aware it is using HDD
    healthcheck:
      # postgres is the default user, please update with
      # the DJANGO_DATABASE_USER used for dsmr-reader-docker
      # default for DSMR Reader is dsmrreader
      test: [ "CMD-SHELL", "pg_isready -U dsmrreader" ]
      interval: 10s
      timeout: 5s
      retries: 10


  dsmr:
    #image: ghcr.io/xirixiz/dsmr-reader-docker:latest
    image: ghcr.io/xirixiz/dsmr-reader-docker:6
    
    container_name: dsmr
    links:
      - dsmrdb
    cap_add:
      - NET_ADMIN
    restart: always
    volumes:
      - /volume1/docker/dsmr/reader/backups:/app/dsmr/backups

    tmpfs:
      # Maakt /run execution-ready voor s6-overlay
      - /run:exec,mode=0777
      # Maakt /tmp gereed voor Django sessies
      - /tmp:mode=1777
      # Dit lost de Nginx-crash op: we maken /var/log in het RAM aan, 
      # maar dwingen Linux om direct de lege submap 'nginx' erin te bouwen!
      - /var/log:mode=0755,uid=0,gid=0
    # Dit is de magische truc: maak eerst de Nginx logmap aan in het RAM!
    entrypoint: >
      sh -c "mkdir -p /var/log/nginx && mkdir -p /var/lib/nginx/logs && mkdir -p /run/nginx && exec /init"
    environment:
      #- DSMRREADER_LOGLEVEL=DEBUG
      - TZ=Europe/Amsterdam
      - DJANGO_TIME_ZONE=Europe/Amsterdam
      - DJANGO_ALLOWED_HOSTS=*
      - VIRTUAL_HOST=localhost
      - FILE__SECRET=/run/secrets/a_secret_file
      - DJANGO_DATABASE_HOST=dsmrdb
      - DSMRREADER_ADMIN_USER=admin
      - DSMRREADER_ADMIN_PASSWORD=
      - DJANGO_DATABASE_PASSWORD=
      - DJANGO_SECRET_KEY=
      - CONTAINER_RUN_MODE=server_remote_datalogger
     


    secrets:
      - a_secret_file
    ports:
      - 7777:80
      - 7779:443
      - 8000:8000
    # healthcheck:
    #   disable: true
    healthcheck:
      test:
        [
          "CMD",
          "curl",
          "-Lsf",
          "http://127.0.0.1/about",
          "-o",
          "/dev/null",
          "-w",
          "HTTP_%{http_code}"
        ]
      interval: 10s
      timeout: 5s
      retries: 10

secrets:
    a_secret_file:
        file : /volume1/docker/dsmr/my_secret.txt

[jan-splinter]

Misschien nog wel relevanter dan al het bovenstaande maar ik heb geen tasks en vermoed dat hierdoor de telegrams niet verwerkt worden.

[jan-splinter]

Hmm ik weet niet of ik dit als oplossing wil aandragen. Maar ik heb de container nogmaals weg gegoiod up laten komen en wat data laten genereren.

Hierna heb ik de restore instructies gevolgd uit https://dsmr-reader.readthedocs.io/en/v6/how-to/upgrade/to-v6/

Restore - Be sure to CHECK the correct DB user and DB name in the second part of the command.

zcat /run/database-import/dsmrreader-export.sql.gz | psql -U dsmrreader_user -d dsmrreader

En nu lijkt alle data er te zijn ook de processen zijn er maar hij ligt nog 2 dagen achter met de stats. Maar er komen geen telegrams in de queue bij dus mogelijk heb ik het opgelost.

Al vermoed ik dat dit meer een geluk dan wijsheid is. Anders post ik morgen avond wel weer iets :D

[jan-splinter]

alle data is weer terug ik laat het hier maar voor mocht iemand anders zo handig zijn om zonder te kijken van een oude ergens versie 5 te updaten :D

[dennissiemensma]

Bedankt voor je melding en updates. In dit geval is het het beste om de upgrade guides te volgen as-is en eventueel later eigen wijzigingen toe te voegen. Fijn dat je er zelf al uit bent gekomen!

Sowieso zolang je een goede backup hebt van de data van je vorige installatie, kun je het makkelijk opnieuw proberen.