diff --git a/STATUS.md b/STATUS.md index 6425aa6..536ce03 100644 --- a/STATUS.md +++ b/STATUS.md @@ -1,10 +1,11 @@ # ICQ XMPP — ТЕКУЩИЙ СТАТУС И ПЛАН (точка входа для новой сессии) -> Обновлено: 2026-08-29 (вечер) · Сессия: bigbox (/opt/icq) +> Обновлено: 2026-08-30 · Сессия: bigbox (/opt/icq) ## Проект -Self-hosted XMPP-мессенджер на **nixg.ru** (Prosody 0.11.9 + веб-клиент Converse v14 + мост Telegram). +Self-hosted XMPP-мессенджер на **nixg.ru** (Prosody **13.0** + веб-клиент Converse v14 + мост Telegram). Миграция на nixg.ru (2026-08-28): JID юзеров `user@nixg.ru`, веб-клиент chat.nixg.ru, WS wss://xmpp.nixg.ru. +Апгрейд Prosody 0.11.9 → **13.0** (2026-08-30): образ gitea.nixg.ru/hermes/icq-prosody:13.0. **Документация:** - [INFRA.md](INFRA.md) — инфраструктура, DNS, учётные данные, TLS/LE, бэкапы @@ -23,30 +24,58 @@ Self-hosted XMPP-мессенджер на **nixg.ru** (Prosody 0.11.9 + веб- - ✅ **TG-аккаунт привязан к мосту (2026-08-29)**: estorozhenko@nixg.ru → команда register из Pidgin, номер +792****2181, api_id/api_hash из конфига. Логин OK, контакты и аватары синхронизируются. - ✅ Пользователи: admin@nixg.ru, estorozhenko@nixg.ru (оба входят); самостоятельная регистрация ОТКЛЮЧЕНА - ✅ **Админы сервера** (2026-08-29): `admins = { "admin@nixg.ru", "estorozhenko@nixg.ru" }` — оба могут ad-hoc команды +- ✅ **Параллельный стенд Prosody 13.0 ПОДТВЕРЖДЁН** (2026-08-30, /opt/icq/test, контейнер icq-prosody-test): + авторизация (3 юзера OK + неверный пароль отклонён) и mod_privilege XEP-0356 (roster IQ → result) + работают на 13.0. Образ: gitea.nixg.ru/hermes/icq-prosody:13.0. → Основа для миграции прода. +- ✅ **Прод на Prosody 13.0** (2026-08-30): мигрирован, всё работает (см. «Выполнено» ниже). + Тестовый стенд остановлен (icq-prosody-test, --restart=no) до следующего обновления. ## Задачи (будущее) -- [ ] ~~**Регистрация TG-аккаунта в мосте**~~ — ВЫПОЛНЕНО 2026-08-29 (estorozhenko@nixg.ru) -- [x] ~~**Вопрос про каналы/папки TG в рostере**~~ — РЕШЕНО/ОТВЕЧЕНО 2026-08-29 (вечер): - каналов в рostере XMPP НЕТ и быть не может (роster = личные контакты, 1602 шт.). - Каналы/группы (91+40) живут в БД моста (room), в XMPP — через bookmarks (сломаны из-за - mod_privilege-стаба). Папки Telegram слайдж не поддерживает (TODO в session.py:292). - Подробности: WALKTHROUGH §12.9. + +### ✅ ВЫПОЛНЕНО: миграция прода на Prosody 13.0 (2026-08-30) +- [x] **Прод nixg.ru мигрирован с 0.11.9 на 13.0** (образ gitea.nixg.ru/hermes/icq-prosody:13.0): + авторизация OK, mod_privilege XEP-0356 работает (Archiving stanza в логах), + WebSocket 101 через nginx, компонент telegram.nixg.ru аутентифицирован, + HTTP Upload исправлен (`http_upload_access = { "telegram.nixg.ru" }` — регрессия 13.0, + слоты выдавались только c2s; без фикса — «No upload slot» у Slidge). + Детали миграции: WALKTHROUGH.md (новый раздел) + референс prosody-13-parallel-stand.md. + Изменения конфига под 13.0: pubsub → Component "pubsub.nixg.ru", component_ports удалён. +- [x] **Тестовый стенд /opt/icq/test ОСТАНОВЛЕН (не удалён)** — контейнер icq-prosody-test + `docker stop` + `--restart=no`; поднять снова при следующем обновлении. +- [ ] **module:send_iq фикс mod_privilege на проде (опция)** — если миграция 13.0 откладывается: + стаб-ACK (коммит 770c9fa) остаётся; полного XEP-0356 на 0.11.9 нет (API 0.12). + +### Прочее (не критично) +- [ ] **ИДЕЯ: папки Telegram → подгруппы в ростере моста** (2026-08-30): все TG-контакты сейчас + скопом в группе «Telegram». Предложение: при подключении к мосту читать список папок/каталогов + из Telegram (архивы/папки чатов) и создавать соответствующие подгруппы в каталоге моста, + раскладывая контакты по ним. НО: при 2–3-минутном лаге логина (массовый рендер ростера + на 1602 контакта) это усугубит старт — реализация только вместе с ускорением рендера. + См. BRIDGE-TELEGRAM.md «Наблюдения». Отложено. +- [ ] **Разобраться с рендером 1600 TG-контактов в рostере при каждом логине клиента** (2026-08-30): + клиент заново скачивает весь рostер + Slidge шлёт presence по всем контактам → 2–3 мин + и «пик в сети» по каждому. Это специфика Slidge, НЕ баг (серверный рostер цел). Идеи: + проверить, можно ли в Slidge отложить/пропустить массовый рoster-рендер при login + (свойства :poll-чатов, cache), и не дёргается ли зря. См. BRIDGE-TELEGRAM.md «Наблюдения». - [ ] **Аватары TG в мосте таймаутят** — HTTP-часть slidge не ходит через SOCKS5 (URL web.telegram.org недоступны из РФ). Косметика, на переписку не влияет. Разбор и варианты: BRIDGE-TELEGRAM.md. -- [ ] **Сборка Prosody 0.12.x (система сборки)** — ЗАПЛАНИРОВАНО (сделать позже): - официальный Docker-образ не имеет 0.12 (latest=0.11.9); сторонние nightly не годятся. - Собрать свой образ из исходников prosody-0.12.6.tar.gz (WALKTHROUGH §12.8). - Закроет: нативный XEP-0356 (mod_privilege больше не нужен → «миллион приглашений» - в Pidgin исчезнет, bookmarks заработают), push-уведомления (util.jwt), безопасность. -- [ ] Бот-книгоискатель (slixmpp + OPDS) — Этап 3 PRD. (venv готов: /opt/icq/.venv) -- [ ] Мост mautrix (WhatsApp) — Этап 4; нужен external component. [Telegram уже на Slidge] -- [ ] Push-уведомления — ОТЛОЖЕН до апгрейда 0.12 (нужен util.jwt); варианты — WALKTHROUGH §10.4 -- [ ] MAM: ошибка при логине «max_items: not a number» — проверить настройку mod_mam (не мешает чату) +- [ ] **Бот-книгоискатель (slixmpp + OPDS)** — Этап 3 PRD. (venv готов: /opt/icq/.venv) +- [ ] **Мост mautrix (WhatsApp)** — Этап 4; нужен external component. [Telegram уже на Slidge] +- [ ] **Push-уведомления** — после апгрейда 13.0 (util.jwt нативный); варианты — WALKTHROUGH §10.4 +- [ ] **MAM: ошибка при логине «max_items: not a number»** — проверить настройку mod_mam (не мешает чату) ## Известные грабли (2026-08-29) +- ✅ **РЕШЕНО 2026-08-30: «no-auth-mech» / белый кружок в веб-чате после миграции на 13.0** — + Prosody 13 считает WS-сессию insecure (TLS на edge: Caddy→nginx→Prosody plain 5280), + не предлагает SASL («No stream features to offer on insecure session»), Converse + бесконечно переподключается. ФИКС: `consider_websocket_secure = true` (глобальная + секция prosody.cfg.lua). НЕ использовать `c2s_require_encryption=false` (дыра в 5222). + Детали: референс prosody-13-production-migration.md в скилле xmpp-server-prosody. - mod_privilege (XEP-0356) сломан на 0.11.9 (module:send_iq — API 0.12). Стоит стаб-ACK (коммит 770c9fa): Prosody стабилен, но bookmarks/MDS через XEP-0356 не работают → слайдж шлёт приглашения в группы вручную. - Полное решение — апгрейд 0.12. Детали: WALKTHROUGH §12.7. + Полное решение — апгрейд 13.0 (ПОДТВЕРЖДЁН на стенде, см. задачи). Детали: WALKTHROUGH §12.7. +- ⚠️ ВАЖНО 13.0: в компонентной сессии НЕТ `full_jid` (только host), mod_privilege tip-версии логирует + «Entity nil» — это НЕ ошибка привилегий, просто лог. Привилегии выдаются корректно (см. стенд). - Рostер TG-контактов цел на сервере (1602). Если контакты «пропали» в Pidgin после рестарта — Disable/Enable аккаунта (клиент сам скачает рostер). Не трогать сервер. diff --git a/WALKTHROUGH.md b/WALKTHROUGH.md index fdc9f75..05ddb7e 100644 --- a/WALKTHROUGH.md +++ b/WALKTHROUGH.md @@ -120,6 +120,27 @@ iptables -t nat -A POSTROUTING -o wg0 -j MASQUERADE - `location / { try_files $uri $uri/ /index.html; }` - Docker-compose: сервис `webchat` (nginx:alpine), ports `8081:8081`, volume `./webchat:/usr/share/nginx/html:ro`. +**ЗАСАДА: DNS-кэш nginx → Connection refused на /xmpp-websocket (инцидент 2026-08-30)**. +Симптом: chat.nixg.ru открывается, форма логина мелькает, Converse висит на пульсирующем белом +кружке (спиннер connecting). В логах icq-webchat каждую минуту: +`connect() failed (111: Connection refused) ... upstream http://172.27.0.2:5280/xmpp-websocket`. +Причина: nginx резолвит имя `prosody` ОДИН раз при старте и держит IP вечно. +После пересоздания контейнеров (prosody, slidgram) docker присваивает адреса заново — +старый IP (172.27.0.2) переходит к ДРУГОМУ контейнеру (slidgram), prosody уезжает на .4. +nginx же продолжает слать на закешированный .2 → refused → 502 → спиннер. +Лечение: `docker compose restart webchat` (пере-резолв). Профилакт — динамический resolver: +``` +nginx +resolver 127.0.11 valid=30s ipv6=off; # docker embedded DNS +location /xmpp-websocket { + set $prosody_upstream http://prosody:5280; + proxy_pass $prosody_upstream/xmpp-websocket; + ... +} +``` +Без переменной + resolver nginx не пере-резолвит на лету. Патч применён (2026-08-30), +в `webchat/nginx.conf`. + **Критическая засада веб-клиента**: в Converse.js v14 опция WebSocket называется **`websocket_url`**, НЕ `bosh_service_url`! Если задать `bosh_service_url` с wss:// — Converse пытается подключиться по BOSH (а у Prosody BOSH нет), падает, UI не рендерится (пустая страница!). @@ -223,6 +244,13 @@ curl -sS https://xmpp.nixg.ru/.well-known/host-meta # 200 JSON XEP-0156 12. **dpkg прерван / apt exit 127** — сломан `chromium-browser` (snap-transitional); чинить `dpkg --configure -a` + переустановка. 13. **git: .venv попал в историю** — venv НЕ коммитить (в .gitignore), удалять из истории filter-branch + force-push (репо похудел с 22MB до 216K). +14. **Prosody 13.0: WS-сессия «insecure» → «no-auth-mech» (2026-08-30)** — после миграции + на 13.0 веб-чат сломался: форма мелькает, белый кружок, `No stream features to offer + on insecure session` в логах, бесконечные переподключения. TLS терминируется на edge + (Caddy→nginx→Prosody plain 5280) → 13.0 не предлагает SASL на «insecure» WS. + ФИКС (глобальная секция prosody.cfg.lua): `consider_websocket_secure = true`. + НЕ ставить `c2s_require_encryption=false` (дыра в 5222: plaintext-пароли). + Проверка: `Authenticated as user@nixg.ru [prosody:operator]` в логах после входа по WS. ## 7. HTTP Upload (XEP-0363) — mod_http_upload @@ -651,6 +679,39 @@ JSON содержит `"always_invite_when_adding_bookmarks": true` — слай (после апгрейда 0.12). Пока слайдж-стаб не чинит bookmarks, приглашения — единственный способ «увидеть» каналы, их можно игнорировать в Pidgin. +## 12.8. МИГРАЦИЯ ПРОДА НА PROSODY 13.0 (2026-08-30) + +Прод nixg.ru переведён с 0.11.9 на 13.0 (образ `gitea.nixg.ru/hermes/icq-prosody:13.0`). +Стенд подтверждал совместимость заранее (references/prosody-13-parallel-stand.md). + +**Шаги и изменения конфига (что отличается от 0.11.9):** +1. Бэкап перед миграцией: `tar czf backups/pre-migration-13-*.tar.gz config data certs modules webchat`. +2. docker-compose: `image: gitea.nixg.ru/hermes/icq-prosody:13.0` (вместо `prosody/prosody:latest`). +3. `component_ports = { 5347 }` — **УДАЛЁН** в 13.0 (listener жёстко на 5347). Убрать. + Listener поднимает module-less `Component "telegram.nixg.ru"`-блок (уже был). +4. `"pubsub"` из `modules_enabled` VirtualHost — **УБРАТЬ**: в 13.0 mod_pubsub только как Component. + Добавлен `Component "pubsub.nixg.ru" "pubsub"` (bookmarks/ленты). + Ошибка до фикса: `Pubsub should be loaded as a component`. +5. **РЕГРЕССИЯ http_upload**: slidge получал `No upload slot in this IQ: ` — + в 13.0-версии mod_http_upload слот выдаётся только `origin.type=="c2s"` ИЛИ JID из + `http_upload_access`. Slidge просит слот от имени компонента → добавить: + `http_upload_access = { "telegram.nixg.ru" }` в блок `Component "upload.nixg.ru"`. + До фикса 180 ошибок/10 мин; после — 0. +6. `cross_domain_websocket` — deprecated (варнинг), но всё ещё читается mod_websocket → работает. + Можно оставить; новый механизм — `http_cors_override`. +7. Лог: один блок `log` в глобальной секции (в 13.0 строго один). + +**Проверка после миграции:** +- `prosodyctl check config` → All checks passed. +- `External component successfully authenticated` для telegram.nixg.ru в prosody.log. +- mod_privilege: в логе `nixg.ru:privilege ... Archiving stanza` (slidge-carbon-*) — работает. +- WebSocket: рукопожатие → `101 Switching Protocols` через nginx (Chat работает). +- HTTP Upload: 0 ошибок `No upload slot` после рестарта. +- Авторизация: SASL отвечает на неверный пароль AUTH FAILED (логика работает). + +**Тестовый стенд** /opt/icq/test (icq-prosody-test) ОСТАНОВЛЕН: `docker stop` + `docker update --restart=no`. +Поднять при следующем обновлении: `cd /opt/icq/test && docker compose up -d`. + ## 13. TODO (следующие шаги) - [x] ~~OMEMO (XEP-0384)~~ — ВЫПОЛНЕНО: раздел 9; скрипт scripts/omemo_check.py. - [ ] Бот-книгоискатель (slixmpp + OPDS) — Этап 3 PRD. venv уже создан (/opt/icq/.venv: aiohttp, slixmpp). diff --git a/config/prosody.cfg.lua b/config/prosody.cfg.lua index 6c25f3d..d2f013e 100644 --- a/config/prosody.cfg.lua +++ b/config/prosody.cfg.lua @@ -28,7 +28,7 @@ modules_enabled = { "carbons"; -- Копии сообщений на все устройства "privilege"; -- XEP-0356 Privileged Entity (roster sync для мостов Slidge) "pep"; -- Personal eventing (OMEMO, avatars) - "pubsub"; -- Publish-Subscribe (XEP-0060): ленты, узлы; основа PEP/bookmarks + -- "pubsub"; -- 13.0: НЕ модуль хоста! Загружается как Component (см. ниже Component "pubsub.nixg.ru") "private"; -- Приватные хранилища XML "blocklist"; -- Чёрный список "vcard4"; -- vCard 4 @@ -79,7 +79,8 @@ https_ports = { 5281 } https_interfaces = { "0.0.0.0" } -- External components (XEP-0114) для мостов (Slidge/Telegram, затем WhatsApp) -component_ports = { 5347 } +-- ВНИМАНИЕ 13.0: component_ports УДАЛЁН (слушатель жёстко на 5347). Listener поднимается +-- наличием module-less Component-блока ниже. component_interfaces — глобально. component_interfaces = { "0.0.0.0" } component_secrets = { ["telegram.nixg.ru"] = "83276db6e870f540163f271d9bd7d3a390530b9ad7b45f58", @@ -94,6 +95,13 @@ ssl = { -- Разрешить WebSocket-подключения с нашего веб-клиента (страница на chat.nixg.ru) cross_domain_websocket = { "https://chat.nixg.ru", "https://xmpp.nixg.ru" } +-- WebSocket за TLS-прокси (Caddy → nginx → Prosody): Prosody 13 терминально снижает +-- TLS на edge, и WS-сессия приходит "insecure" → SASL-механизмы не предлагаются → +-- Converse: "no-auth-mech" + бесконечные переподключения (белый кружок). +-- Штатный флаг mod_websocket (Prosody 13+): считать WS endpoint безопасным. +-- Использовать вместо trusted_proxies (тот влияет только на логирование IP). +consider_websocket_secure = true + -- Домен (JID юзеров: user@nixg.ru) VirtualHost "nixg.ru" -- Аутентификация: внутренняя (mod_auth_internal_hashed) @@ -121,6 +129,10 @@ VirtualHost "nixg.ru" }; } +-- PubSub (XEP-0060) — в 13.0 ТОЛЬКО как Component (не модуль хоста). +-- Основа для bookmarks/лент; PEP (личные узлы) продолжает жить на VirtualHost через mod_pep. +Component "pubsub.nixg.ru" "pubsub" + -- MUC-компонент (групповые чаты) conference.nixg.ru Component "conference.nixg.ru" "muc" name = "ICQ Family Chat" @@ -135,6 +147,10 @@ Component "upload.nixg.ru" "http_upload" http_upload_file_size_limit = 10 * 1024 * 1024 -- 10 MB (лимит HTTP-парсера Prosody) http_upload_expire_after = 7 * 24 * 60 * 60 -- хранить 7 дней http_upload_require_authentication = true -- только авторизованные + -- 13.0: слот выдаётся ТОЛЬКО origin.type=="c2s" ИЛИ JID из access-списка. + -- Slidge просит слот от имени компонента telegram.nixg.ru → добавить в access, + -- иначе "No upload slot" (регрессия 13.0, в 0.11 пускало компоненты молча). + http_upload_access = { "telegram.nixg.ru" } http_upload_path = "/var/lib/prosody/http_upload" -- Внешний URL (без :5281) — Caddy на vps02 проксирует upload.nixg.ru → 10.8.0.2:5281 http_external_url = "https://upload.nixg.ru"