Камеры на даче с нейросетью: выкинули облако, пуши с фото и видео прилетают в Telegram

Восемь камер на даче, регистратор и облачное приложение XMEye, потом iCSee. Приложение то не грузилось, то показывало «нет сигнала» на половине камер. Уведомления «обнаружено движение» прилетали на каждую ветку, тень и комара, поэтому их выключили. В итоге камеры смотрели, когда что-то уже случилось.

Очередной вечер, очередное «нет сигнала». Я сказал Клоду: «Разберись». Вот что получилось.

Что умеет теперь

• Без облака. Камеры пишут на маленький компьютер дома, видео никуда не уходит.
• Отличает людей от всего остального. Человек, машина, собака — событие. Ветки, тени, кот на заборе — нет.
• Пуш в Telegram. На каждое событие приходит фото человека крупно, ролик, ускоренный в три раза, и подпись от нейросети: «Курьер оставил коробку у двери». Кнопкой можно попросить полный ролик со звуком.
• Режим «я дома». Если телефон кого-то из семьи в домашнем Wi-Fi, днём уведомлений нет. Ночью охрана работает всегда.
• Утренняя сводка. Сколько было событий, что важно, сколько потратили на нейросеть.

Что купить

Как настроить

1. Найти камеры. Их адреса видно в роутере, в списке подключённых устройств. Дальше нужна RTSP-ссылка на видео. У китайских камер Xiongmai она обычно такая: rtsp://АДРЕС:554/user=admin&password=ПАРОЛЬ&channel=1&stream=0.sdp, а с stream=1 — лёгкий поток. Проверьте ссылку в VLC: если видео идёт, всё в порядке.
2. Подготовить мини-ПК. Ставим Ubuntu Server 24.04 и Docker. В настройках BIOS включаем запуск после пропадания питания, чтобы после отключения света всё поднялось само.
3. Поставить Frigate. Это бесплатная программа для камер с распознаванием объектов. Ставится одним файлом docker compose. На N100 распознавание идёт через встроенную графику (OpenVINO), примерно 10 мс на кадр. Распознавать лучше по лёгкому потоку, записывать — по основному.
4. Закрасить ложные места. Если в одном и том же месте ночью мерещится «человек», например фонарь светит на камни, это место закрашивается маской в настройках камеры.
5. Завести Telegram-бота. В @BotFather создаём бота и получаем токен. Связать Frigate с Telegram можно готовой программой frigate-notify, а можно своим сервисом. Мы сделали свой: он берёт событие, вырезает фото человека, делает короткий ролик и отправляет всё одним сообщением. Клод написал его за вечер.
6. Подключить нейросеть. Три кадра события уходят в нейросеть с вопросом: что происходит и важно ли это. Своя машина у ворот или кот — не присылаем. Курьер, гость, незнакомец — присылаем с подписью. Frigate умеет описывать события и сам, через Gemini, OpenAI или модель на своём компьютере. Мы взяли Claude.
7. Режим «я дома». Раз в минуту сервер проверяет, видны ли в Wi-Fi телефоны семьи. На айфоне в настройках Wi-Fi для домашней сети нужно включить фиксированный частный адрес, иначе телефон каждый раз представляется по-новому.

Грабли, на которые мы наступили

• Wi-Fi. Половина камер у нас подключена через ретрансляторы, и их видео шло по воздуху. Когда к этому добавился сервер по Wi-Fi, интернет на даче стал работать плохо, а в записи появились дыры. Сервер — только кабелем.
• Время. Камеры берут время с регистратора, а у него часы спешили на час с лишним. Чинить нужно в регистраторе, на камерах время сбрасывается обратно через пару минут.
• Опорный кадр. Китайские камеры по умолчанию шлют полный кадр раз в 10 секунд, и ролик события режется неточно. Ставим раз в 1–2 секунды и выключаем «умный кодек».
• Призраки. Ночью фонарь на габионе и детский трактор у машины превращались в «людей». Лечится маской.
• Деньги на нейросеть. Пока на даче семья, бывает по 35 событий в день на камеру. Больше всего экономит режим «я дома»: днём, когда все дома, нейросеть не вызывается.

Сколько это стоит

Вопросы