Инженер — это не профессия, а состояние души

Скрипт, который регулярно опрашивает устройство или датчик (например, через RouterOS API — см. соседнюю статью серии), обычно должен не просто вывести значение на экран, а сохранить его для последующего анализа. В статье — рабочий паттерн логирования в CSV и SQLite на одной только стандартной библиотеке Python, без внешних зависимостей.

CSV или SQLite: когда что

  • CSV — проще всего открыть в Excel/LibreOffice, передать коллеге, прочитать глазами. Плохо подходит, если нужны выборочные запросы («покажи только за последний час») — для этого придётся читать весь файл целиком.
  • SQLite — один файл, обычный SQL для выборок, индекс по времени — запрос за диапазон дат не требует вычитывать всё. Хуже подходит для «просто посмотреть глазами» без дополнительных инструментов.

На практике — писать в оба сразу не накладно (данные небольшие, запись происходит раз в несколько секунд/минут, не в реальном времени микросекундных измерений), а польза от обоих форматов разная.

Схема данных

Минимальная схема, достаточная для большинства задач логирования показаний: время, источник (какое устройство/датчик), значение.

import csv
import sqlite3
import time
from datetime import datetime, timezone
from pathlib import Path


def read_metric(source: str) -> float:
    """Заглушка опроса устройства/датчика — в реальном коде здесь
    вызов API (например, fetch_system_resource из статьи про RouterOS API)
    или чтение с Modbus/датчика."""
    ...

Запись в CSV: append, не overwrite

def log_to_csv(path: Path, rows: list[tuple[str, str, float]]) -> None:
    """Дописывает строки в CSV. newline='' обязателен на Windows — иначе
    csv.writer добавит лишние \\r\\n. Открываем в режиме 'a', не 'w' — иначе
    каждый вызов стирал бы предыдущие записи."""
    is_new = not path.exists()
    with path.open("a", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        if is_new:
            writer.writerow(["timestamp", "source", "value"])
        writer.writerows(rows)
        f.flush()  # без явного flush данные могут остаться в буфере ОС
        # и потеряться при внезапном отключении питания до следующего flush

Для долго работающего процесса (логирование месяцами) один бесконечно растущий CSV-файл неудобен — стоит добавить ротацию по дате (новый файл на каждые сутки, readings_2026-10-26.csv) или по размеру, если объём записей заранее неизвестен.

Запись в SQLite: батч-вставка и WAL

def init_sqlite(path: Path) -> sqlite3.Connection:
    conn = sqlite3.connect(path)
    conn.execute("PRAGMA journal_mode=WAL")  # WAL позволяет читать во
    # время записи — без него читающий процесс (например, дашборд) может
    # получить "database is locked" пока пишущий процесс держит транзакцию
    conn.execute(
        """
        CREATE TABLE IF NOT EXISTS readings (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            ts TEXT NOT NULL,
            source TEXT NOT NULL,
            value REAL NOT NULL
        )
        """
    )
    conn.execute("CREATE INDEX IF NOT EXISTS idx_readings_ts ON readings(ts)")
    conn.commit()
    return conn


def log_to_sqlite(conn: sqlite3.Connection, rows: list[tuple[str, str, float]]) -> None:
    # executemany + параметризация (?, ?, ?) — без неё и без батч-вставки
    # на больших объёмах данных вставка по одной строке с commit на каждую
    # заметно медленнее на тысячах записей, а конкатенация значений в SQL-
    # строку вместо параметров — путь к SQL-инъекции, даже если сейчас
    # данные приходят не от пользователя, а с устройства
    conn.executemany(
        "INSERT INTO readings (ts, source, value) VALUES (?, ?, ?)", rows
    )
    conn.commit()

Индекс idx_readings_ts создаётся один раз при инициализации — без него запрос WHERE ts BETWEEN ... AND ... на таблице с сотнями тысяч строк будет читать таблицу целиком (full table scan) вместо быстрого поиска по индексу.

Цикл опроса целиком

def run_demo(n_cycles: int = 5, sources=("sensor-1", "sensor-2")) -> None:
    csv_path = Path("readings_demo.csv")
    db_path = Path("readings_demo.sqlite3")
    conn = init_sqlite(db_path)
    try:
        for _ in range(n_cycles):
            rows = []
            now = datetime.now(timezone.utc).isoformat(timespec="seconds")
            for source in sources:
                rows.append((now, source, read_metric(source)))
            log_to_csv(csv_path, rows)
            log_to_sqlite(conn, rows)
            time.sleep(0.2)
    finally:
        conn.close()  # незакрытое соединение — частая причина
        # "database is locked" при следующем запуске скрипта, если
        # процесс не завершился штатно

Пример реального запуска этого кода (данные — синтетические, из read_metric со случайным значением, не показания реального устройства, цель — показать формат, а не содержание):

--- readings_demo.csv ---
timestamp,source,value
2026-10-26T14:42:50+00:00,sensor-1,60.33
2026-10-26T14:42:50+00:00,sensor-2,20.37
2026-10-26T14:42:51+00:00,sensor-1,29.41
2026-10-26T14:42:51+00:00,sensor-2,46.76
...

--- readings_demo.sqlite3: последние 5 записей ---
('2026-10-26T14:42:51+00:00', 'sensor-2', 35.46)
('2026-10-26T14:42:51+00:00', 'sensor-1', 39.06)
('2026-10-26T14:42:51+00:00', 'sensor-2', 53.14)
('2026-10-26T14:42:51+00:00', 'sensor-1', 54.15)
('2026-10-26T14:42:51+00:00', 'sensor-2', 54.04)

Типичные ошибки

  • Без flush() после записи в CSV. Данные остаются в буфере ОС; при аварийном завершении процесса (OOM, kill -9, отключение питания на embedded-устройстве) последние записи теряются, хотя скрипт их формально «записал».
  • Одна строка — одна транзакция SQLite без батчинга. executemany внутри одной транзакции (один commit() на пачку) намного быстрее, чем execute + commit на каждую строку по отдельности — каждый commit это обязательная синхронизация с диском (fsync).
  • Нет индекса на поле, по которому фильтруют запросы. Если логирование работает месяцами и таблица выросла до сотен тысяч строк, запрос без индекса на ts становится заметно медленнее с ростом таблицы — индекс дешевле создать сразу, чем диагностировать деградацию потом.
  • SQL-строки собираются конкатенацией, а не параметрами. Даже если источник данных — «доверенное» устройство, а не пользовательский ввод, привычка собирать SQL строкой (f"...VALUES ({value})") переносится в код, где источник уже не доверенный, и это становится SQL-инъекцией.

Итог

Паттерн для логирования показаний — простой: единая схема ts/source/value, запись в CSV через append+flush, запись в SQLite через батч-вставку в WAL-режиме с индексом по времени, и аккуратное закрытие соединения в finally. Весь код в статье — только стандартная библиотека Python, без внешних зависимостей, запущен и проверен локально — вывод выше получен реальным запуском скрипта, а не придуман.

← Все статьи раздела «Программирование»