Compare commits
24 Commits
94f0f51cb7
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
| bba9a39a6b | |||
| 800f93a22f | |||
| 92b7094fc7 | |||
| 07ba1e427d | |||
| f7be5a87b4 | |||
| 65457becf2 | |||
| 2359b52eca | |||
| 78cb3b4ea0 | |||
| 462a61151b | |||
| a8fde20e38 | |||
| f03935efb7 | |||
| 4eae3eb7aa | |||
| 9cda51fa92 | |||
| 2d8ac65a6a | |||
| 638c7162e7 | |||
| bebc9c891d | |||
| 47be8e6c92 | |||
| 39e136333c | |||
| 5d617b0d98 | |||
| b26e283ca7 | |||
| 733334faf8 | |||
| 801d1383f2 | |||
| 10447ae1ab | |||
| f6dd8467ba |
@@ -17,10 +17,14 @@ jobs:
|
||||
- name: Install dependencies
|
||||
run: |
|
||||
apt-get update -qq
|
||||
apt-get install -y -qq make python3 python3-venv python3-pip hugo
|
||||
apt-get install -y -qq python3 python3-venv python3-paramiko hugo
|
||||
|
||||
- name: Deploy via SFTP
|
||||
env:
|
||||
SSHPASS: ${{ secrets.SSHPASS }}
|
||||
run: |
|
||||
make deploy
|
||||
set -e
|
||||
hugo --minify
|
||||
echo "Сайт успешно собран в папку public/"
|
||||
test -n "$SSHPASS" || { echo "ОШИБКА: переменная SSHPASS (пароль SFTP) не задана. См. README.md / docs/DEPLOY_INSTRUCTIONS.md"; exit 1; }
|
||||
python3 tools/deploy_sftp.py
|
||||
+3
-1
@@ -12,4 +12,6 @@ static/images/favicon/README.MD
|
||||
static/images/favicon/dwarffortress*
|
||||
static/images/favicon/android-chrome*
|
||||
static/images/favicon/site.webmanifest
|
||||
static/images/favicon/apple-touch-icon.png
|
||||
static/images/favicon/apple-touch-icon.png
|
||||
__pycache__/
|
||||
*.pyc
|
||||
|
||||
@@ -1,69 +0,0 @@
|
||||
# Определяем операционную систему
|
||||
ifeq ($(OS),Windows_NT)
|
||||
PLATFORM = Windows
|
||||
# На Windows используем WinSCP.com для SFTP
|
||||
WINSCP_PATH = "C:\Program Files (x86)\WinSCP\WinSCP.com"
|
||||
DEPLOY_CMD = $(WINSCP_PATH) /script=winscp_script.txt
|
||||
DRYRUN_CMD = echo "Windows: проверка SFTP-соединения..."
|
||||
else
|
||||
PLATFORM = Unix
|
||||
# На Unix используем paramiko (SFTP). Аккаунт Jino — SFTP-only: rsync/ssh-exec
|
||||
# запрещены ("exec request failed on channel 0"), поэтому deploy через
|
||||
# tools/deploy_sftp.py (рекурсивный mirror + удаление лишнего).
|
||||
# Венв .venv создаётся автоматически таргетом venv (нужен paramiko).
|
||||
DEPLOY_CMD = .venv/bin/python tools/deploy_sftp.py
|
||||
DRYRUN_CMD = .venv/bin/python tools/deploy_sftp.py --dry-run
|
||||
# Пароль берётся из переменной окружения SSHPASS (см. README.md / docs/DEPLOY_INSTRUCTIONS.md)
|
||||
endif
|
||||
.PHONY: build deploy deploy-dry-run clean rebuild help venv
|
||||
|
||||
build:
|
||||
hugo --minify
|
||||
@echo "Сайт успешно собран в папку public/"
|
||||
|
||||
# ЕДИНСТВЕННЫЙ способ деплоя — через make deploy.
|
||||
# Никогда не заменять на rsync/ssh-exec напрямую: на Jino аккаунт SFTP-only.
|
||||
deploy: build venv
|
||||
ifeq ($(PLATFORM),Windows)
|
||||
$(DEPLOY_CMD)
|
||||
else
|
||||
@test -n "$$SSHPASS" || (echo "ОШИБКА: переменная SSHPASS (пароль SFTP) не задана. См. README.md / docs/DEPLOY_INSTRUCTIONS.md"; exit 1)
|
||||
$(DEPLOY_CMD)
|
||||
endif
|
||||
|
||||
deploy-dry-run: build venv
|
||||
ifeq ($(PLATFORM),Windows)
|
||||
@echo "Выполняем проверку соединения с сервером..."
|
||||
$(DRYRUN_CMD)
|
||||
else
|
||||
@test -n "$$SSHPASS" || (echo "ОШИБКА: переменная SSHPASS (пароль SFTP) не задана. См. README.md / docs/DEPLOY_INSTRUCTIONS.md"; exit 1)
|
||||
$(DRYRUN_CMD)
|
||||
endif
|
||||
|
||||
# Создаёт venv с paramiko для Unix-деплоя (единожды)
|
||||
venv:
|
||||
@if [ ! -x .venv/bin/python ]; then \
|
||||
echo "Создаю .venv и ставлю paramiko..."; \
|
||||
python3 -m venv .venv && .venv/bin/pip install -q paramiko; \
|
||||
fi
|
||||
clean:
|
||||
ifeq ($(OS),Windows_NT)
|
||||
del /q /s public\/
|
||||
else
|
||||
rm -rf public/
|
||||
endif
|
||||
@echo "Папка public удалена"
|
||||
|
||||
rebuild: clean deploy
|
||||
|
||||
help:
|
||||
@echo "Доступные команды:"
|
||||
@echo " make build - собрать сайт"
|
||||
@echo " make deploy - собрать и задеплоить сайт (SFTP через lftp, требуется SSHPASS)"
|
||||
@echo " make deploy-dry-run - симуляция деплоя (требуется SSHPASS)"
|
||||
@echo " make clean - удалить папку public"
|
||||
@echo " make rebuild - полная пересборка сайта"
|
||||
@echo " make help - показать это сообщение"
|
||||
@echo ""
|
||||
@echo "Деплой: export SSHPASS='<пароль SFTP>'; make deploy"
|
||||
@echo "Пароль хранится в docs/DEPLOY_INSTRUCTIONS.md (winscp_script.txt для Windows)."
|
||||
@@ -0,0 +1,5 @@
|
||||
---
|
||||
title: "Архив"
|
||||
description: "Все посты блога, сгруппированные по годам и месяцам"
|
||||
layout: archives
|
||||
---
|
||||
+38
-71
@@ -3,107 +3,74 @@
|
||||
## Описание
|
||||
|
||||
Этот документ описывает процесс публикации сгенерированного сайта (папка `public`)
|
||||
на хостинге через SFTP. Решение кроссплатформенное и работает как на Unix-подобных
|
||||
системах (Linux/macOS), так и на Windows.
|
||||
на хостинге через SFTP.
|
||||
|
||||
> **ВАЖНО: деплой сайта выполняется ТОЛЬКО через `make deploy`.** Аккаунт Jino —
|
||||
> SFTP-only: удалённый запуск команд (rsync, ssh-exec) запрещён сервером
|
||||
> (ошибка `exec request failed on channel 0`). Прямой rsync на этот аккаунт
|
||||
> НЕ РАБОТАЕТ.
|
||||
**Деплой автоматизирован через Gitea Actions.** Публикация выполняется
|
||||
автоматически при каждом пуше в ветку `main` репозитория или вручную через
|
||||
Workflow Dispatch в Gitea UI (Actions -> deploy-dedinit -> Run workflow).
|
||||
|
||||
## Учетные данные и параметры подключения
|
||||
|
||||
- **Хост**: kpa39l.myjino.ru
|
||||
- **Порт SFTP**: 2222
|
||||
- **Пользователь**: kpa39l_dedinit
|
||||
- **Пароль**: -Zp4ep747t25
|
||||
- **Пароль**: хранится в секрете Gitea `SSHPASS` (Settings -> Actions -> Secrets
|
||||
репозитория). В открытом виде в репозитории **не хранится**.
|
||||
- **Целевой путь**: /dedinit.ru (относительно корня аккаунта)
|
||||
|
||||
## Установка зависимостей
|
||||
## Как работает деплой
|
||||
|
||||
### Для Linux/macOS
|
||||
1. Workflow `.gitea/workflows/deploy.yml` (события: `push` в `main`
|
||||
и `workflow_dispatch`).
|
||||
2. Шаги:
|
||||
- **Checkout** — `actions/checkout@v4` (самодостаточный зеркальный экшен,
|
||||
без обращения к github.com);
|
||||
- **Install dependencies** — `python3`, `python3-venv`, `python3-pip`, `hugo`;
|
||||
- **Deploy via SFTP** — сборка `hugo --minify`, создание `.venv` с
|
||||
`paramiko`, проверка секрета `SSHPASS` и запуск
|
||||
`tools/deploy_sftp.py` (рекурсивный mirror + удаление устаревших файлов).
|
||||
|
||||
- **Python 3** (с venv/pip)
|
||||
- **Make** — для выполнения команд из Makefile
|
||||
- Пакет `paramiko` ставится автоматически в `.venv/` при первом `make deploy`
|
||||
(таргет `venv`), либо вручную: `pip install paramiko`
|
||||
> **ВАЖНО: аккаунт Jino — SFTP-only:** удалённый запуск команд (rsync,
|
||||
> ssh-exec) запрещён сервером (ошибка `exec request failed on channel 0`).
|
||||
> Прямой rsync на этот аккаунт НЕ РАБОТАЕТ — только `tools/deploy_sftp.py`.
|
||||
|
||||
### Для Windows
|
||||
## Запуск вручную
|
||||
|
||||
- **WinSCP** — установите с официального сайта (<https://winscp.net/>)
|
||||
- **Make** — можно установить через Chocolatey, MinGW или Git for Windows
|
||||
В Gitea: открыть репозиторий -> Actions -> workflow `deploy-dedinit` ->
|
||||
кнопка **Run workflow** (ветка `main`).
|
||||
|
||||
## Использование Makefile
|
||||
## Локальный запуск (без Actions)
|
||||
|
||||
### Сборка сайта
|
||||
Только для отладки. Требуется заранее заданный секрет:
|
||||
|
||||
```bash
|
||||
make build
|
||||
export SSHPASS='<пароль из секрета Gitea SSHPASS>'
|
||||
hugo --minify
|
||||
python3 -m venv .venv && .venv/bin/pip install -q paramiko
|
||||
.venv/bin/python tools/deploy_sftp.py
|
||||
```
|
||||
|
||||
Команда генерирует сайт в папку `public/`.
|
||||
|
||||
### Деплой сайта
|
||||
## Симуляция деплоя (dry-run)
|
||||
|
||||
```bash
|
||||
# один раз экспортируем пароль SFTP (каждый раз в новой сессии)
|
||||
export SSHPASS='-Zp4ep747t25'
|
||||
make deploy
|
||||
```
|
||||
|
||||
ЕДИНСТВЕННЫЙ способ публикации. Сначала собирает сайт, затем зеркалирует
|
||||
`public/` на сервер (`/dedinit.ru`) с удалением устаревших файлов
|
||||
(аналог `rsync --delete`):
|
||||
|
||||
- **Unix**: `tools/deploy_sftp.py` (paramiko, SFTP + рекурсивный mirror)
|
||||
- **Windows**: WinSCP.com (скрипт `winscp_script.txt`)
|
||||
|
||||
Если `SSHPASS` не задана — `make deploy` завершится с ошибкой и подсказкой.
|
||||
|
||||
### Симуляция деплоя
|
||||
|
||||
```bash
|
||||
export SSHPASS='-Zp4ep747t25'
|
||||
make deploy-dry-run
|
||||
export SSHPASS='<пароль из секрета Gitea SSHPASS>'
|
||||
.venv/bin/python tools/deploy_sftp.py --dry-run
|
||||
```
|
||||
|
||||
Собирает сайт и показывает, какие файлы будут загружены/удалены, без заливки.
|
||||
|
||||
### Очистка
|
||||
|
||||
```bash
|
||||
make clean
|
||||
```
|
||||
|
||||
Команда удаляет папку `public/`.
|
||||
|
||||
### Полная пересборка
|
||||
|
||||
```bash
|
||||
make rebuild
|
||||
```
|
||||
|
||||
Команда удаляет папку `public/`, затем заново собирает и деплоит сайт.
|
||||
|
||||
### Справка
|
||||
|
||||
```bash
|
||||
make help
|
||||
```
|
||||
|
||||
Показывает список доступных команд.
|
||||
|
||||
## Конфигурация
|
||||
|
||||
Параметры подключения для Unix находятся в `tools/deploy_sftp.py`
|
||||
Параметры подключения находятся в `tools/deploy_sftp.py`
|
||||
(переменные `DEDINIT_HOST`, `DEDINIT_PORT`, `DEDINIT_USER`, `DEDINIT_REMOTE`,
|
||||
по умолчанию — kpa39l.myjino.ru:2222 / kpa39l_dedinit / /dedinit.ru).
|
||||
На Windows — в `Makefile` и `winscp_script.txt`.
|
||||
|
||||
При необходимости вы можете изменить эти параметры.
|
||||
|
||||
## Настройка для Windows
|
||||
## Управление паролем (секрет SSHPASS)
|
||||
|
||||
1. Убедиться, что WinSCP установлен в стандартную директорию
|
||||
`C:\Program Files (x86)\WinSCP\`
|
||||
2. Файл `winscp_script.txt` содержит команды для подключения и синхронизации файлов
|
||||
- Пароль задан один раз через Gitea API:
|
||||
`PUT /api/v1/repos/estorozhenko/dedinit.ru/actions/secrets/SSHPASS`.
|
||||
- Обновить/посмотреть наличие: Gitea UI -> Settings -> Actions -> Secrets.
|
||||
- Workflow читает его как `${{ secrets.SSHPASS }}` и передаёт в переменную
|
||||
окружения `SSHPASS` шагу Deploy via SFTP.
|
||||
|
||||
+31
-21
@@ -1,38 +1,48 @@
|
||||
# dedinit.ru — Статус
|
||||
|
||||
Обновлено: 2026-09-13 (аудит бандлов + hero.svg 68/68; план old_content)
|
||||
Обновлено: 2026-09-20 (настройка CI/CD: Gitea Actions авто-деплой по SFTP; тупик с триггером runs для dedinit, узел развязки найден)
|
||||
|
||||
## Текущее состояние
|
||||
Сайт-блог dedinit.ru на Hugo Extended (тема rDedInit/форк PaperMod) в порядке: структура репозитория приведена к стандарту (README краткий + вся документация в docs/ + AGENTS.md), всё запушено в gitverse (main). Опубликован новый пост про GoToSocial и релеи. Следующая задача (локализация UI) оформлена через OpenSpec, реализация не начата.
|
||||
Сайт-блог dedinit.ru на Hugo Extended работает и деплоится вручную (`make deploy` на Jino по SFTP). Ведётся настройка автоматического деплоя через Gitea Actions: при пуше в main (Gitea = источник) runner на bigbox должен собирать сайт и заливать public/ на Jino по SFTP. Опенсорс-часть (workflow, секрет SSHPASS, runner, openspec-change) готова, НО триггер runs для репо dedinit.ru не срабатывает: Gitea принимает пуши, но run не создаёт. Доказано, что Actions в целом работают — тестовое репо actions-probe-0920 (id=60) успешно создало и выполнило 3 runs. Проблема специфична для dedinit.ru (id=8), причина: подозрение на `uses: actions/checkout@v4` в workflow (внешний action), для которого Gitea молча отбрасывает run; у probe-репо используется только `run:` без `uses:`.
|
||||
|
||||
## Сделано
|
||||
- 2026-09-13: Опубликован пост «GoToSocial молча съедал все статусы с релеев — и я нашёл почему» (commit 0fcfeb3): hero.svg, index.md, `make build`, `make deploy` — прод отдаёт 200 (проверено).
|
||||
- 2026-09-12: Уборка структуры репозитория — вся документация перенесена в docs/ (git mv, история сохранена), README.md переписан кратко, создан AGENTS.md с правилами проекта.
|
||||
- 2026-09-12: Правило «ВСЕ изменения проекта — через OpenSpec» добавлено в AGENTS.md (commit 0f4d6da).
|
||||
- 2026-09-12: Задача «Русская локализация i18n/ru.toml» оформлена через OpenSpec (propose) — change `localize-i18n-ru` валиден, запушен (f07bffe). Артефакты: proposal.md, specs/i18n/spec.md, design.md, tasks.md.
|
||||
- 2026-09-12: В локальные openspec-скиллы проекта (.hermes/skills/) добавлена секция «Проверка (validate) — ПРАВИЛЬНЫЙ синтаксис» во все 6 SKILL.md (правильный вызов: `openspec validate <имя>`, НЕ `--change`).
|
||||
## Сделано (эта сессия, 2026-09-20)
|
||||
- Запущен/настроен Gitea Act Runner: `gitea/runner:3.3.1` (Rust, контейнер gitea-act-runner на bigbox), label `ubuntu-24.04:docker://ubuntu:latest` (в /opt/gitea.nixg.ru/docker-compose.yml, строка 118). Старый образ был `docker27-bash` (непригоден: без python/hugo и без сети в контейнере).
|
||||
- Репо dedinit.ru в Gitea (id=8) разблокировано для Actions: снят pull-mirror (is_mirror=f в БД), добавлен repo_unit type=10 (Actions) → has_actions:true. Также добавлен юнит type=3 (PR) у probe.
|
||||
- Секрет SSHPASS создан в Gitea (PUT /repos/{owner}/{repo}/actions/secrets/SSHPASS → 201; пароль Jino SFTP).
|
||||
- Создан workflow: `/opt/dedinit.ru/.gitea/workflows/deploy.yml` (on: push main + workflow_dispatch; job deploy: checkout@v4 → apt install hugo/make/python3 → make deploy с SSHPASS из секрета).
|
||||
- Пуш в Gitea теперь по HTTPS с токеном (SSH-порт 2222 закрыт снаружи); remote `gitea` добавлен в /opt/dedinit.ru.
|
||||
- OpenSpec change `auto-deploy-dedinit-actions` создан в /opt/dedinit.ru/openspec/changes/ (proposal/design/specs/tasks) — но design/tasks описывают УСТАРЕВШУЮ схему (gitverse + SSH bigbox); нужна правка под решение пользователя (Gitea источник + SFTP Jino).
|
||||
- Диагностика: включён файловый лог Gitea DEBUG (временно, GITEA__log__MODE=file + LEVEL=debug в docker-compose), найден канал диагностики — лог /data/gitea/log/gitea.log внутри контейнера gitea.
|
||||
- Эксперимент-доказательство: probe-репо actions-probe-0920 (пустой workflow `- run: echo hello`) → 3 runs созданы и выполнены (status=1). У dedinit с deploy.yml (checkout@v4) — 0 runs. Разница в `uses:`.
|
||||
|
||||
## В работе / Следующие шаги
|
||||
- [ ] **Реализация локализации i18n/ru.toml** (openspec change `localize-i18n-ru`, стадия apply): создать `i18n/ru.toml` с русскими переводами ключей темы, `make build`, проверить grep'ами в public/, закоммитить и запушить.
|
||||
- [ ] Затем (из ROADMAP): цветовая схема под бренд dedinit(), русские переводы i18n, Telegram-посты (layout + карточки + shortcode), навигация, SEO и др.
|
||||
- [ ] **ДОКАЗАТЬ гипотезу `uses:`**: запушенную в probe-репо копию deploy.yml с `uses: actions/checkout@v4` — если run НЕ создастся, причина найдена (Gitea молча отбрасывает run при неразрешимом внешнем action). Рабочая альтернатива: заменить `uses: actions/checkout@v4` на `git clone`/`git pull` вручную (без внешних actions), тогда триггер сработает.
|
||||
- [ ] Довести авто-деплой до прода: workflow создаёт run → runner собирает hugo → SFTP заливает public/ на Jino → прод 200.
|
||||
- [ ] Обновить openspec change `auto-deploy-dedinit-actions`: design.md/tasks.md под финальную схему (Gitea источник + push-mirror gitverse + SFTP Jino), validate, archive.
|
||||
- [ ] Настроить push-mirror Gitea → gitverse (бэкап), если не сделать это в рамках авто-деплоя.
|
||||
- [ ] Убрать временную диагностику из docker-compose (GITEA__log__MODE=file, LEVEL=debug) после фикса.
|
||||
- [ ] Обновить память Hermes: конвенция «истина = gitverse.ru» → «Gitea источник, gitverse push-зеркало» (память переполнена — сжать/удалить устаревшие записи).
|
||||
- [ ] Задачи из прошлых сессий живы: локализация i18n/ru.toml (change localize-i18n-ru), ROADMAP (цвета, Telegram-посты и т.д.).
|
||||
|
||||
## Как запустить / проверить
|
||||
```bash
|
||||
cd /opt/dedinit.ru
|
||||
make build # сборка (hugo --minify)
|
||||
make deploy-dry-run # симуляция деплоя
|
||||
make deploy # ЕДИНСТВЕННЫЙ способ деплоя (SFTP, требует SSHPASS)
|
||||
openspec validate localize-i18n-ru # валидация active-change
|
||||
make deploy # ручной деплой (SFTP, SSHPASS)
|
||||
git push gitea main # пуш в Gitea (триггер Actions) — HTTPS+токен
|
||||
# Проверка авто-деплоя: https://gitea.nixg.ru/estorozhenko/dedinit.ru/actions → run деплоя; прод https://dedinit.ru/
|
||||
# Лог Gitea (диагностика): docker exec gitea tail -f /data/gitea/log/gitea.log
|
||||
```
|
||||
Источник истины — gitverse (origin main, SSH).
|
||||
Истина (после настройки CI): пуш в Gitea → Actions деплоят → gitverse как push-зеркало/бэкап.
|
||||
|
||||
## Ключевые артефакты
|
||||
- `/opt/dedinit.ru/AGENTS.md` — правила работы агентов (русский, docs/, make deploy, OpenSpec)
|
||||
- `/opt/dedinit.ru/README.md` — краткое введение
|
||||
- `/opt/dedinit.ru/docs/` — вся подробная документация (DEPLOY_INSTRUCTIONS, ROADMAP, PAPERMOD_PARAMS, QWEN, gitea-setup, ssh_setup, Telegram_frontend, local-aux-models, favicon-logo-setup, archive/)
|
||||
- `/opt/dedinit.ru/openspec/changes/localize-i18n-ru/` — активный change (propose готов, apply впереди)
|
||||
- `/opt/dedinit.ru/.hermes/skills/openspec-*/SKILL.md` — openspec-скиллы проекта (с секцией про validate)
|
||||
- `/opt/dedinit.ru/.gitea/workflows/deploy.yml` — workflow авто-деплоя (активен, но runs не триггерятся)
|
||||
- `/opt/dedinit.ru/.gitea/workflows` (в Gitea: actions-probe-0920) — доказательство работоспособности Actions
|
||||
- `/opt/gitea.nixg.ru/docker-compose.yml` — gitea + act-runner (временная диагностика логов; строка 118 label; DEFAULT_ACTIONS_URL=github)
|
||||
- `/opt/dedinit.ru/openspec/changes/auto-deploy-dedinit-actions/` — openspec-change (design/tasks требуют правки)
|
||||
- `/opt/dedinit.ru/docs/` — документация проекта (STATUS/PRD/TODO/WALKTHROUGH)
|
||||
|
||||
## Открытые вопросы
|
||||
- Продолжать ли локализацию (apply change localize-i18n-ru) в следующей сессии? (пользователь ещё не подтвердил apply)
|
||||
- Перенести ли секцию про validate в глобальный скилл Hermes (переживёт перезапись локальных openspec-скиллов)?
|
||||
- Точная причина «Gitea не создаёт run для workflow с uses: actions/checkout@v4»: молчаливое отбрасывание невалидного/неразрешимого workflow? Проверить тестом (probe + checkout@v4).
|
||||
- Нужен ли пиннинговый тег gitea-образа (сейчас :1.26.2 без патча-пиннинга) — вопрос не срочный.
|
||||
- Является ли `actions/checkout@v4` вообще необходимым в Gitea (есть альтернатива `git clone` вручную).
|
||||
+13
-1
@@ -10,7 +10,19 @@
|
||||
| 2026-09-13 | Аудит бандлов: hero.svg + cover.image 68/68, frontmatter 3 бандлам | ✅ | commit 355841e |
|
||||
| 2026-09-13 | План импорта/дедупликации old_content | ✅ подготовлен | docs/OLD_CONTENT_IMPORT_PLAN.md |
|
||||
| 2026-09-13 | Пост „GoToSocial молча съедал статусы…“ | ✅ закрыта | commit 0fcfeb3, задеплоено, прод 200 |
|
||||
| 2026-09-12 | Реализовать локализацию i18n/ru.toml (apply change localize-i18n-ru) | 🔵 открыта | |
|
||||
| 2026-09-20 | Настроить Gitea Act Runner (gitea/runner:3.3.1, label ubuntu:latest) | ✅ закрыта | сессия 2026-09-20, /opt/gitea.nixg.ru |
|
||||
| 2026-09-20 | Снять pull-mirror у репо dedinit.ru в Gitea, включить Actions (repo_unit type=10) | ✅ закрыта | сессия 2026-09-20, has_actions:true |
|
||||
| 2026-09-20 | Создать секрет SSHPASS в Gitea Actions | ✅ закрыта | сессия 2026-09-20, PUT …/actions/secrets/SSHPASS → 201 |
|
||||
| 2026-09-20 | Создать workflow .gitea/workflows/deploy.yml (push main → build → SFTP deploy) | ✅ закрыта | сессия 2026-09-20, запушен, но run не триггерится (см. ниже) |
|
||||
| 2026-09-20 | Оформить OpenSpec change auto-deploy-dedinit-actions (propose) | ✅ закрыта | сессия 2026-09-20 (design/tasks требуют правки под финальную схему) |
|
||||
| 2026-09-20 | Доказать работоспособность Actions: probe-репо actions-probe-0920, 3 runs выполнены | ✅ закрыта | сессия 2026-09-20, status=1 |
|
||||
| 2026-09-20 | ПОЧИНИТЬ триггер runs для dedinit.ru (гипотеза: `uses: actions/checkout@v4` отбрасывается молча; тест: probe + checkout@v4, замена на git clone) | 🔵 открыта | СЛЕДУЮЩАЯ СЕССИЯ — приоритет №1 |
|
||||
| 2026-09-20 | Довести авто-деплой до прода: run → runner hugo → SFTP Jino → прод 200 | 🔵 открыта | СЛЕДУЮЩАЯ СЕССИЯ — приоритет №2 (после фикса триггера) |
|
||||
| 2026-09-20 | Обновить openspec change auto-deploy-dedinit-actions (design/tasks под финальную схему: Gitea источник + SFTP Jino + push-mirror gitverse), validate, archive | 🔵 открыта | СЛЕДУЮЩАЯ СЕССИЯ — приоритет №3 |
|
||||
| 2026-09-20 | Настроить push-mirror Gitea → gitverse (бэкап) | 🔵 открыта | СЛЕДУЮЩАЯ СЕССИЯ (если не сделано в рамках CI) |
|
||||
| 2026-09-20 | Убрать временную диагностику логов из /opt/gitea.nixg.ru/docker-compose.yml (GITEA__log__MODE=file, LEVEL=debug) | 🔵 открыта | после фикса |
|
||||
| 2026-09-20 | Обновить память Hermes: «истина = gitverse» → «Gitea источник, gitverse push-зеркало» (память переполнена — ужать) | 🔵 открыта | СЛЕДУЮЩАЯ СЕССИЯ |
|
||||
| 2026-09-12 | Реализовать локализацию i18n/ru.toml (apply change localize-i18n-ru) | 🔵 открыта | (ожидает подтверждения пользователя) |
|
||||
| — | Настроить цветовую схему под бренд dedinit() | 🔵 открыта | (ROADMAP) |
|
||||
| — | Русские переводы i18n (Read more→Читать далее и др.) | 🔵 открыта | (ROADMAP) |
|
||||
| — | Telegram-посты: layout + карточки + shortcode | 🔵 открыта | (ROADMAP) |
|
||||
+58
-46
@@ -1,55 +1,67 @@
|
||||
# WALKTHROUGH — dedinit.ru (капитанский журнал)
|
||||
|
||||
## 2026-09-13 — Пост «GoToSocial молча съедал статусы с релеев»
|
||||
## 2026-09-20 — Настройка CI/CD: Gitea Actions авто-деплой (тупик с триггером runs)
|
||||
|
||||
### Контекст
|
||||
Опубликован пост о граблях с релеями GoToSocial: подписка выглядела рабочей (approved, 202 Accepted), а лента была пустой из-за отсутствия `match_by_default` и пустых матчеров (deny-by-default).
|
||||
Задача: при пуше в main (Gitea = источник) автоматически собирать сайт (hugo) и заливать public/ на Jino по SFTP. Пользователь подтвердил архитектуру: **Gitea — источник истины, Actions деплоят, gitverse — push-зеркало/бэкап**.
|
||||
|
||||
### Инфраструктура
|
||||
- Gitea: gitea.nixg.ru (1.26.2), контейнер `gitea` + `gitea-db` (postgres) + `gitea-redis` + `gitea-act-runner` в /opt/gitea.nixg.ru/docker-compose.yml.
|
||||
- Runner: `gitea/runner:3.3.1` (Rust, НЕ старый act_runner Go), контейнер gitea-act-runner, имя bigbox-runner (id=2), глобальный (repo_id=0).
|
||||
- SSH gitea.nixg.ru:2222 снаружи ЗАКРЫТ («Connection refused») — пуши в Gitea только по HTTPS с токеном.
|
||||
|
||||
### Что сделано
|
||||
1. Создан бандл `content/posts/20260913 - gotosocial relay match by default/`: index.md (frontmatter по конвенции, date 2026-09-13T03:00+03:00 в прошлом) + hero.svg (единый стиль).
|
||||
2. `make build` — без ошибок; статья в `public/2026/gotosocial-relay-match-by-default/`, title и hero.svg на месте, RSS собрался (5 постов, новый первый).
|
||||
3. Коммит 0fcfeb3 запушен в gitverse (истина).
|
||||
4. Деплой `make deploy` (SSHPASS из docs/DEPLOY_INSTRUCTIONS.md) — прод отдаёт 200:
|
||||
https://dedinit.ru/2026/gotosocial-relay-match-by-default/
|
||||
5. docs/STATUS.md и docs/TODO.md обновлены (запись о публикации).
|
||||
1. **Runner переключён с docker27-bash на ubuntu**: старый label `ubuntu-24.04:docker://docker27-bash:latest` не работал (внутри Alpine без python/hugo, `apk update` → timeout 124 — нет сети в job-контейнере). Сменён на `ubuntu-24.04:docker://ubuntu:latest` (docker-compose.yml стр.118, GITEA_RUNNER_LABELS). Правка /data/.runner бесполезна — runner при старте перезаписывает из env/БД.
|
||||
2. **Репо dedinit.ru (id=8) разблокировано**: было pull-mirror с gitverse (`is_mirror=t`) — на зеркалах Gitea не выполняет Actions. Снято UPDATE repository SET is_mirror=f + DELETE из mirror (БД). Также отсутствовал repo_unit type=10 (Actions) — INSERT (config=NULL, access_mode=0, как у рабочего репо icq id=2). Итог: has_actions:true (API).
|
||||
3. **Секрет SSHPASS**: PUT /api/v1/repos/estorozhenko/dedinit.ru/actions/secrets/SSHPASS → 201 (пароль Jino SFTP из docs/DEPLOY_INSTRUCTIONS.md).
|
||||
4. **Workflow** `/opt/dedinit.ru/.gitea/workflows/deploy.yml`:
|
||||
```yaml
|
||||
on:
|
||||
push: { branches: [main] }
|
||||
workflow_dispatch:
|
||||
jobs:
|
||||
deploy:
|
||||
runs-on: ubuntu-24.04
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- run: apt-get update && apt-get install -y make python3 python3-venv python3-pip hugo
|
||||
- run: make deploy # env: SSHPASS: ${{ secrets.SSHPASS }}
|
||||
```
|
||||
Закоммичен (первый пуш f714b91 был БЕЗ .gitea — файл был untracked; исправлено коммитом 39f29cc).
|
||||
5. **Пуш в Gitea**: `git remote add gitea https://gitea.nixg.ru/estorozhenko/dedinit.ru.git`, пуш HTTPS с токеном из /opt/hermes/.hermes/secrets/git-tokens.env (GITEA_NIXG_TOKEN).
|
||||
|
||||
### Примечание
|
||||
- Коммит/пуш правок docs/ в этой сессии блокировался песочницей (требует явного подтверждения) — изменения на диске, коммит по подтверждению пользователя.
|
||||
### Диагностика тупика (runs не создаются для dedinit)
|
||||
Симптомы: API /actions/runs → пусто; веб /actions → «The workflow has no runs yet»; docker logs gitea-act-runner пусты; action_run в БД — 0 строк для repo_id=8. При этом пуши принимаются (activity op_type=18, receive-pack 200).
|
||||
|
||||
Проверено и ОТБРОШЕНО (не причина):
|
||||
- Тип runner-а — НЕ проблема (probe-репо работает с тем же runner).
|
||||
- repo_unit type=10 — на месте, приведён к виду рабочего репо (config NULL, access 0).
|
||||
- is_mirror=f, original_service_type/url — очищены (был oauth2-хвост от gitverse), рестарт — без эффекта.
|
||||
- GITEA__actions__DEFAULT_ACTIONS_URL=github — добавлен, без эффекта.
|
||||
- webhooks — пусто у обоих репо; Redis-кэш пуст; схема БД v331 (актуальна); рестарты gitea — без эффекта.
|
||||
|
||||
КЛЮЧЕВЫЕ НАХОДКИ:
|
||||
- **Включён файловый лог Gitea** (GITEA__log__MODE=file + LEVEL=debug в docker-compose; файл /data/gitea/log/gitea.log в контейнере). Без этого docker logs gitea пусты (stdout → файлы, не tty).
|
||||
- После receive-pack для dedinit НЕТ вызовов Actions-обработчика (нет `actions_ready_job`), а для probe-репо ЕСТЬ.
|
||||
- **Доказательство работоспособности Actions**: создано probe-репо actions-probe-0920 (id=60) с простейшим workflow (`- run: echo hello`, БЕЗ `uses:`) → 3 runs созданы и ВЫПОЛНЕНЫ (status=1). В логе Gitea видны RunnerService/UpdateTask/UpdateLog от 87.242.100.206 (bigbox).
|
||||
- **Разница dedinit vs probe**: у dedinit workflow содержит `uses: actions/checkout@v4` (внешний action), у probe — только `run:`. ГИПОТЕЗА: Gitea молча отбрасывает run, если не может разрешить внешний action (checkout@v4). НЕ ДОКАЗАНА — тест на следующую сессию.
|
||||
|
||||
### Питфолы (запомнить)
|
||||
- repo id меняется при пересоздании репо через API (DEL+CREATE): probe получил id=60, а я проверял id=59 — «0 runs» было ложным из-за неверного id! ВСЕГДА проверять id через repository.lower_name.
|
||||
- docker logs gitea пусты (stdout → файлы) — для диагностики включать GITEA__log__MODE=file.
|
||||
- Правка /data/.runner до рестарта бесполезна (перезаписывается env GITEA_RUNNER_LABELS).
|
||||
- Токен GITEA_NIXG_TOKEN в HTTPS-URL: команды с `source git-tokens.env` триггерят терминальную защиту — обход: `set -a; source ...; set +a`.
|
||||
|
||||
### Следующая сессия (план)
|
||||
1. Тест гипотезы `uses:`: в probe-репо запушенную копию deploy.yml с `uses: actions/checkout@v4` → пушнуть → проверить action_run для id=60. Если run не создастся — причина найдена.
|
||||
2. Фикс: заменить `uses: actions/checkout@v4` на ручной `git clone` (actions: git/checkout не обязателен; код доступен по HTTPS с токеном или как-либо ещё). Либо, если хочется оставить checkout — разобраться с резолвингом внешних actions в Gitea (DEFAULT_ACTIONS_URL уже стоит; можно проверить, доступен ли runner'у github из job-контейнера).
|
||||
3. Довести до прода: run создаётся → runner собирает hugo → SFTP заливка public/ на Jino → прод 200 → убрать диагностику логов.
|
||||
4. openspec: обновить design/tasks (финальная схема: Gitea источник + SFTP Jino + push-mirror gitverse), validate, archive.
|
||||
5. push-mirror Gitea → gitverse (бэкап).
|
||||
6. Память Hermes: конвенция «истина = gitverse» → «Gitea источник, gitverse push-зеркало» (память переполнена — ужать устаревшее).
|
||||
|
||||
## 2026-09-13 — Пост «GoToSocial молча съедал статусы с релеев»
|
||||
(см. предыдущую версию журнала — без изменений)
|
||||
|
||||
## 2026-09-12 — Уборка структуры репозитория + OpenSpec
|
||||
|
||||
### Контекст
|
||||
Репозиторий dedinit.ru (Hugo, тема rDedInit/PaperMod) имел документацию в корне; задача — привести к стандарту: README краткий, вся документация в docs/, AGENTS.md для агентов.
|
||||
|
||||
### Что сделано
|
||||
1. **AGENTS.md создан** (корень) — правила: русский язык, структура (README краткий + docs/), стек (Hugo Extended, тема rDedInit, gitverse источник истины, деплой SFTP), статьи (bundle, date в прошлом, hero.svg), деплой только `make deploy`, git-правила, OpenSpec-процесс, проверки перед публикацией.
|
||||
2. **Документация перенесена в docs/** (git mv): DEPLOY_INSTRUCTIONS.md, ROADMAP.md, PAPERMOD_PARAMS.md, QWEN.md, gitea-setup.md, ssh_setup_instructions.md, Telegram_frontend.md.
|
||||
3. **Промежуточные файлы**: `.qwen/PROJECT_SUMMARY.md` → docs/archive/, `winscp_script.txt` → tools/.
|
||||
4. **README.md переписан** кратко (55 строк): суть, быстрый старт, структура, указатели на docs/, конвенции. История убрана.
|
||||
5. **Ссылки обновлены**: Makefile и tools/deploy_sftp.py → docs/DEPLOY_INSTRUCTIONS.md; docs/QWEN.md, docs/ROADMAP.md — пути.
|
||||
6. **Коммиты/пуш**: d426aa3 (уборка), 0f4d6da (правило OpenSpec в AGENTS.md), f07bffe (openspec-propose локализации).
|
||||
|
||||
### OpenSpec — задача локализации
|
||||
- Change: `openspec/changes/localize-i18n-ru/` (propose завершён, валиден).
|
||||
- Артефакты: proposal.md (зачем), specs/i18n/spec.md (требования + сценарии), design.md (решения), tasks.md (5 задач).
|
||||
- **Питфол синтаксиса**: `openspec validate --change <name>` — ОШИБКА (`unknown option '--change'`). Правильно: `openspec validate <name>`. Это зафиксировано во всех 6 локальных openspec-скиллах (.hermes/skills/openspec-*/SKILL.md).
|
||||
|
||||
### Файлы проекта
|
||||
- Согласно правилу «вся документация в docs/» — файлы проекта лежат в docs/:
|
||||
- `docs/STATUS.md` — текущее состояние, сделано, следующие шаги, как проверить.
|
||||
- `docs/PRD.md` — требования, границы, критерии готовности.
|
||||
- `docs/TODO.md` — журнал задач (история, статусы).
|
||||
- `docs/WALKTHROUGH.md` — этот журнал.
|
||||
|
||||
### Как повторить / проверить
|
||||
```bash
|
||||
cd /opt/dedinit.ru
|
||||
make build # сборка
|
||||
openspec validate localize-i18n-ru # валидация active-change
|
||||
git pull # обновление (origin = gitverse)
|
||||
```
|
||||
|
||||
### Известные подводные камни
|
||||
- `.hermes/` игнорируется git (.gitignore) — openspec-скиллы не коммитятся.
|
||||
- Секреты: winscp_script.txt и DEPLOY_INSTRUCTIONS.md содержали SFTP-пароль в истории (известно, ротация не проводилась). В новые файлы пароли НЕ записывать.
|
||||
- Yandex.Disk НЕ должен синхронизировать .git (ломал репозиторий на Windows).
|
||||
(см. предыдущую версию журнала — без изменений)
|
||||
+1
-1
@@ -1,2 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-12
|
||||
created: 2026-09-22
|
||||
@@ -0,0 +1,53 @@
|
||||
# Design: Archive by Year/Month
|
||||
|
||||
## Goal
|
||||
|
||||
Страница `/posts/` (меню «Архив») показывает посты, сгруппированные по
|
||||
годам и месяцам (как штатный архив Hugo/PaperMod), вместо плоского списка.
|
||||
|
||||
## Approach
|
||||
|
||||
Используем готовый layout темы rDedInit: `themes/rDedInit/layouts/_default/archives.html`.
|
||||
|
||||
Что он делает (из исходника theme):
|
||||
- `where site.RegularPages "Type" "in" site.Params.mainSections` — берёт
|
||||
обычные страницы основных секций (не список, без пагинации).
|
||||
- `GroupByPublishDate "2006"` — группировка по годам.
|
||||
- Внутри каждого года `GroupByDate "January"` — группировка по месяцам.
|
||||
- Заголовки `.archive-year` / `.archive-month`, счётчики, якоря `#2026`,
|
||||
`#2026-January`.
|
||||
- Каждая запись — `.archive-entry` с title, post_meta и ссылкой.
|
||||
|
||||
Стили `.archive-*` уже есть в `assets/css/common/archive.css`.
|
||||
|
||||
## Change: content/posts/_index.md
|
||||
|
||||
Создать файл `content/posts/_index.md`:
|
||||
|
||||
```yaml
|
||||
---
|
||||
title: "Архив"
|
||||
description: "Все посты блога по годам и месяцам"
|
||||
layout: archives
|
||||
---
|
||||
```
|
||||
|
||||
Frontmatter `layout: archives` заставляет Hugo выбрать
|
||||
`_default/archives.html` для листинга секции (Hugo ищет layout по
|
||||
порядку: `<type>/<layout>.html`, `_default/<layout>.html` — найдёт
|
||||
`_default/archives.html`).
|
||||
|
||||
Никаких других файлов менять не нужно:
|
||||
- Меню `[menu.main]` Архив → `/posts/` уже настроено (hugo.toml).
|
||||
- RSS секции `/posts/` рендерится через `rss.xml` независимо.
|
||||
- `baseof.html` уже поддерживает `eq .Layout "archives"` для
|
||||
breadcrumbs/навигации.
|
||||
- `index.json` (поиск) и `rss.xml` исключают layout `archives` из листинга.
|
||||
|
||||
## Verification
|
||||
|
||||
1. `make build` (hugo --minify)
|
||||
2. `grep -c 'archive-year' public/posts/index.html` > 0
|
||||
3. `grep -c 'archive-month' public/posts/index.html` > 0
|
||||
4. Убедиться, что title на странице — «Архив», посты сгруппированы по годам
|
||||
5. `make deploy-dry-run` — SFTP-симуляция (деплой: Gitea Actions)
|
||||
@@ -0,0 +1,36 @@
|
||||
# Archive by Year/Month
|
||||
|
||||
## Problem Statement
|
||||
|
||||
Страница «Архив» (меню → `/posts/`) сейчас показывает плоский список всех
|
||||
постов с пагинацией по 10 (layout `list.html`). При ~100+ постах это
|
||||
неудобно: нет обзора по годам и месяцам, нельзя быстро найти пост по
|
||||
периоду.
|
||||
|
||||
## Why
|
||||
|
||||
Hugo умеет группировать посты по годам/месяцам из коробки (GroupByDate /
|
||||
GroupByPublishDate). Тема rDedInit уже содержит готовый layout
|
||||
`_default/archives.html` и стили `archive.css` — нужно лишь переключить
|
||||
секцию `/posts/` на этот layout. Расширять тему не требуется.
|
||||
|
||||
## Proposed Solution
|
||||
|
||||
Добавить `content/posts/_index.md` с frontmatter `layout: archives` (и
|
||||
title/description). Hugo автоматически применит `archives.html` к листингу
|
||||
секции `/posts/`, который сгруппирует посты по годам и месяцам с
|
||||
счётчиками и якорями.
|
||||
|
||||
## Alternative Solutions
|
||||
|
||||
- Написать свой layout `layouts/posts/list.html` — избыточно, тема уже
|
||||
имеет готовый архив.
|
||||
- Использовать отдельную страницу `/archive/` — меняет URL и меню; текущий
|
||||
пункт меню «Архив» ведёт на `/posts/`, менять не нужно.
|
||||
|
||||
## Impact
|
||||
|
||||
- Изменяется только рендер `/posts/` (list → archives).
|
||||
- URL постов и permalinks не меняются.
|
||||
- RSS секции `/posts/` сохраняется (archives.html не влияет на rss.xml).
|
||||
- Деплой — автоматический через Gitea Actions (push в main).
|
||||
+47
@@ -0,0 +1,47 @@
|
||||
## Purpose
|
||||
|
||||
Страница «Архив» (/posts/) блога dedinit.ru отображает все посты,
|
||||
сгруппированные по годам и месяцам (как штатный архив Hugo), вместо
|
||||
плоского списка с пагинацией.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Группировка постов по годам и месяцам
|
||||
Система SHALL отображать на странице /posts/ список всех постов,
|
||||
сгруппированный по годам публикации, и внутри каждого года — по месяцам
|
||||
публикации. Заголовки содержат год/месяц и количество постов в группе.
|
||||
|
||||
#### Scenario: Страница /posts/ показывает годы
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** страница содержит заголовки годов (например «2026», «2023»), под каждым — посты этого года
|
||||
- **AND** возле каждого года отображается количество постов
|
||||
|
||||
#### Scenario: Внутри года посты сгруппированы по месяцам
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** внутри каждого года посты сгруппированы по месяцам публикации (например «January», «September»)
|
||||
- **AND** возле каждого месяца отображается количество постов
|
||||
|
||||
#### Scenario: Каждый пост — ссылка на свою страницу
|
||||
- **WHEN** пользователь видит запись в архиве
|
||||
- **THEN** заголовок поста является ссылкой на его страницу (permalink)
|
||||
- **AND** под заголовком отображаются метаданные поста (дата и пр.)
|
||||
|
||||
### Requirement: Заголовок и описание страницы
|
||||
Система SHALL отображать на странице /posts/ заголовок «Архив» и описание
|
||||
страницы (из frontmatter секции).
|
||||
|
||||
#### Scenario: Заголовок страницы
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** заголовок страницы — «Архив»
|
||||
|
||||
### Requirement: Сохранение остальной функциональности секции
|
||||
Система SHALL сохранять работоспособность RSS-ленты секции /posts/ и URL
|
||||
постов (permalinks не меняются) при переключении layout на архив.
|
||||
|
||||
#### Scenario: RSS секции не сломан
|
||||
- **WHEN** пользователь запрашивает RSS-ленту секции /posts/ (index.xml)
|
||||
- **THEN** лента валидна и содержит посты секции
|
||||
|
||||
#### Scenario: Permalinks постов не меняются
|
||||
- **WHEN** пользователь открывает пост из архива
|
||||
- **THEN** URL поста соответствует permalink /:year/:slug/ (как и раньше)
|
||||
@@ -0,0 +1,10 @@
|
||||
# Tasks: Archive by Year/Month
|
||||
|
||||
- [x] Создать `content/posts/_index.md` с frontmatter: title "Архив", description, layout: archives
|
||||
- [x] `make build` (hugo --minify) — без ошибок
|
||||
- [x] Проверить `public/posts/index.html`: есть `.archive-year` и `.archive-month`, посты сгруппированы по годам/месяцам, title "Архив"
|
||||
- [x] Убедиться, что пагинация/плоский список (post-entry) на /posts/ исчезла
|
||||
- [x] Проверить RSS секции /posts/ (index.xml) — не сломан
|
||||
- [x] `openspec validate archive-by-year-month` — чисто
|
||||
- [x] Commit + push gitea main — деплой через Gitea Actions (deploy.yml); замер №1: run создан 16:54:19Z, прод виден 17:30:20Z (~36 мин)
|
||||
- [x] Прогнать openspec-archive-change (архивировать change после деплоя) — архив 2026-09-25
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-22
|
||||
@@ -0,0 +1,53 @@
|
||||
# Design: Инкрементальный SFTP-деплой
|
||||
|
||||
## Проблема
|
||||
|
||||
`tools/deploy_sftp.py` mirror-заливал ВСЕ 524 файла (66M) каждый деплой,
|
||||
включая неизменные тяжёлые (21M PDF, 11M×2 M4V) — деплой занимал ~36 мин
|
||||
(замер №1: run создан 16:54:19Z → прод виден 17:30:20Z). Плюс: при обрыве
|
||||
SFTP-соединения скрипт вис бесконечно (нет таймаутов) — оба раза висел на
|
||||
`2026/gotosocial-relay-match-by-default/hero.svg`.
|
||||
|
||||
## Решение
|
||||
|
||||
Единственный файл `tools/deploy_sftp.py`:
|
||||
|
||||
1. **Инкремент по (size + SHA1)**: для каждого локального файла — `sftp.stat()`;
|
||||
если удалённый существует и (размер совпадает И SHA1 содержимого совпадает)
|
||||
— пропуск; иначе `sftp.put()`.
|
||||
- mtime НЕ используется: в CI (Gitea Actions) checkout ставит свежий mtime
|
||||
всем файлам → mtime-сравнение бесполезно.
|
||||
- SHA1 читается потоково с удалённого через `sftp.open()` (1MB чанками) —
|
||||
корректно для 21M PDF (несколько секунд).
|
||||
- Для несовпадающих размеров хэш не считается (быстрый путь).
|
||||
|
||||
2. **Защита от зависаний**:
|
||||
- `Transport.set_keepalive(15)` — пинги; мёртвое соединение падает само.
|
||||
- `sftp.get_channel().settimeout(120)` — операция дольше 120с прерывается.
|
||||
- `with_retry()` — при исключении переподключение (до 3 попыток, sleep 2с),
|
||||
`put`/`remove` повторяются; после исчерпания — выход с ненулевым кодом.
|
||||
|
||||
3. **Mirror-удаление сохранено**: `remote_files - local_files` → `remove()`.
|
||||
|
||||
4. **CI**: `python3-paramiko` ставится через **apt** (не pip в venv) — не зависит
|
||||
от PyPI, быстрее (установка случайно занимала 15-20 мин).
|
||||
|
||||
## Почему не mtime
|
||||
|
||||
В Gitea Actions `actions/checkout` распаковывает репозиторий с текущим mtime →
|
||||
все файлы «свежие» относительно сервера → mtime-сравнение никогда не пропускает.
|
||||
SHA1 — единственный надёжный индикатор неизменности для CI.
|
||||
|
||||
## Альтернативы, отклонённые
|
||||
|
||||
- **rsync**: Jino SFTP-only, удалённый exec запрещён.
|
||||
- **Манифест (JSON) прошлого деплоя**: усложняет, требует хранения состояния;
|
||||
SHA1-сравнение с сервером самодостаточно.
|
||||
- **Только размер**: риск ложного пропуска при изменении содержимого без смены
|
||||
размера (маловероятно для статики, но SHA1 дешевле ошибки).
|
||||
|
||||
## Открытые вопросы
|
||||
|
||||
- Точное время залива (замер №2) зависит от пропускной способности Jino SFTP.
|
||||
- SHA1 крупных файлов при каждом деплое: 21M PDF → ~2-5с на чтение с сервера;
|
||||
приемлемо по сравнению с перезаливкой.
|
||||
@@ -0,0 +1,30 @@
|
||||
---
|
||||
id: deploy-sftp-incremental
|
||||
created: 2026-09-22
|
||||
schema: spec-driven
|
||||
---
|
||||
|
||||
# Proposal: Инкрементальный SFTP-деплой (только изменившиеся файлы)
|
||||
|
||||
## Problem
|
||||
|
||||
`tools/deploy_sftp.py` при каждом деплое заливает ВСЕ файлы из `public/` (524 файла, 66M)
|
||||
через `sftp.put()` без проверки, изменился ли файл на сервере. Из них ~40M — тяжёлые
|
||||
неизменные файлы (PDF 21M, M4V 11M×2 и др.), которые льются повторно каждый раз.
|
||||
|
||||
Результат (замер №1, 2026-09-22): деплой через Gitea Actions занял **~36 минут** до
|
||||
видимости на проде. Плюс скрипт не имеет таймаутов: при обрыве SFTP-соединения
|
||||
`paramiko.Transport` висит в `sftp.put()` бесконечно (наблюдали на run 40:
|
||||
лог замер на 17:22:54, файл hero.svg 1.7KB не залит, job не завершился).
|
||||
|
||||
## Goal
|
||||
|
||||
- Заливать только файлы, которых нет на сервере или которые изменились (size+mtime).
|
||||
- Не висеть вечно: таймауты на соединение и на операцию, явная ошибка при обрыве.
|
||||
- Сократить время деплоя в разы (цель: < 5 мин до видимости на проде).
|
||||
|
||||
## Non-goals
|
||||
|
||||
- Не трогаем способ вызова (по-прежнему `gitea-main push` → Gitea Actions → `tools/deploy_sftp.py`).
|
||||
- Не трогаем содержание сайта / архив / темы.
|
||||
- Не добавляем rsync (на Jino SFTP-only, удалённый exec запрещён).
|
||||
+57
@@ -0,0 +1,57 @@
|
||||
# Spec: Инкрементальный SFTP-деплой
|
||||
|
||||
## MODIFIED Requirements
|
||||
|
||||
### Requirement: Скрипт заливает только изменившиеся файлы
|
||||
|
||||
Скрипт сравнивает каждый локальный файл с удалённым и заливает только те, что отсутствуют на сервере или отличаются. Сравнение — по размеру и SHA1-хешу содержимого (mtime не используется: в CI после checkout он всегда свежий, что делает mtime-сравнение бесполезным).
|
||||
|
||||
#### Scenario: Файл уже есть на сервере и не менялся
|
||||
|
||||
Given сервер содержит файл `X` с тем же размером и SHA1, что локальный
|
||||
And локальный файл `X` существует
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then файл `X` НЕ заливается на сервер
|
||||
|
||||
#### Scenario: Файла нет на сервере
|
||||
|
||||
Given сервер НЕ содержит файл `X`
|
||||
And локальный файл `X` существует
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then файл `X` заливается на сервер
|
||||
|
||||
#### Scenario: Файл изменился (другой размер)
|
||||
|
||||
Given сервер содержит файл `X` с размером 100
|
||||
And локальный файл `X` имеет размер 125
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then файл `X` заливается на сервер
|
||||
|
||||
#### Scenario: Файл изменился (тот же размер, другое содержимое)
|
||||
|
||||
Given сервер содержит файл `X` того же размера, но с другим SHA1
|
||||
And локальный файл `X` имеет другой SHA1
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then файл `X` заливается на сервер
|
||||
|
||||
### Requirement: Скрипт не виснет при обрыве соединения
|
||||
|
||||
Скрипт использует keepalive (15с) и таймаут канала (120с), а также переподключение с ретраями (до 3 попыток), чтобы при обрыве канала завершиться с ошибкой или продолжить, а не висеть бесконечно.
|
||||
|
||||
#### Scenario: Соединение с сервером оборвалось
|
||||
|
||||
Given SFTP-соединение с Jino работает
|
||||
And соединение обрывается во время `put()`
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then скрипт переподключается и повторяет операцию; если все попытки исчерпаны — завершается с ненулевым кодом и сообщением об ошибке
|
||||
|
||||
### Requirement: Удаление лишних файлов сохранено
|
||||
|
||||
Скрипт продолжает удалять с сервера файлы, которых нет в локальном `public/` (mirror-поведение).
|
||||
|
||||
#### Scenario: На сервере есть файл, которого нет локально
|
||||
|
||||
Given сервер содержит файл `Y`
|
||||
And локальный каталог `public/` не содержит `Y`
|
||||
When выполняется `tools/deploy_sftp.py`
|
||||
Then файл `Y` удаляется с сервера
|
||||
@@ -0,0 +1,20 @@
|
||||
# Tasks: Инкрементальный SFTP-деплой
|
||||
|
||||
- [x] Обновить `tools/deploy_sftp.py`: инкремент по (size + SHA1), keepalive/таймаут канала, ретраи с переподключением
|
||||
- [x] Проверить синтаксис (`python3 -m py_compile`) и логику same_file (юнит-тест без сети)
|
||||
- [x] CI: заменить pip-установку paramiko на apt `python3-paramiko` (не зависит от PyPI) в `.gitea/workflows/deploy.yml`
|
||||
- [x] Обновить openspec (spec/design/tasks) под SHA1-решение
|
||||
- [x] Замерить деплой №2 после запуска run на новом коде: сравнить с эталоном ~36 мин
|
||||
- [x] Прогнать openspec-archive-change (из прошлого change) — замер №1 зафиксирован в tasks.md
|
||||
|
||||
## Замеры
|
||||
|
||||
- **Замер №1 (эталон, старый mirror-скрипт)**: run 43 создан 16:54:19Z → прод виден 17:30:20Z = **~36 мин**. Полный job не завершился (завис на мёртвом SFTP).
|
||||
- **Замер №1b (f7be5a8, mtime-инкремент — НЕ сработал)**: run 41 создан 18:40:54Z → прод обновлён 19:07:07Z = **~27 мин** (ускорение за счёт того, что заливка шла быстрее; mtime-сравнение пропускало 0 файлов — checkout даёт свежий mtime). Job завис на том же `2026/gotosocial-relay-match-by-default/hero.svg`.
|
||||
- **Замер №2 (SHA1 + apt-paramiko)**: run 43 (92b7094) — SUCCESS за **12.7 мин** (19:37:09 → 19:49:50Z), «Готово: 0 залито, 482 пропущено» при неизменном контенте. Выигрыш: ~36 мин → ~12-13 мин на пустой деплой; при изменениях льётся только diff вместо 66M.
|
||||
|
||||
## Блокеры
|
||||
|
||||
- Run 41 (f7be5a8) висит в Gitea Actions на мёртвом SFTP (нет API-cancel; runner на bigbox недоступен) — новый run (07ba1e4-правки) ждёт освобождения runner'а. По умолчанию Gitea ждёт до ~6ч.
|
||||
- Gitea не создаёт следующий run по ветке, пока по ней есть active run (наблюдение).
|
||||
- `socket.setdefaulttimeout(120)` НЕ прерывает зависший put в paramiko (канал создан до вызова) — заменён на `channel.settimeout(120)`.
|
||||
@@ -79,7 +79,7 @@ jobs:
|
||||
```bash
|
||||
curl -X PUT "https://gitea.nixg.ru/api/v1/repos/estorozhenko/dedinit.ru/actions/secrets/SSHPASS" \
|
||||
-H "Authorization: token $GITEA_NIXG_TOKEN" \
|
||||
-d '{"value": "-Zp4ep747t25"}'
|
||||
-d '{"value": "***SFTP_PASSWORD***"}'
|
||||
```
|
||||
|
||||
## Файлы
|
||||
|
||||
@@ -1,25 +0,0 @@
|
||||
## Context
|
||||
|
||||
Проект dedinit.ru — Hugo Extended 0.165, тема rDedInit (форк PaperMod), язык ru-ru. Сейчас `i18n/` отсутствует, UI-строки темы отображаются английскими дефолтами PaperMod. См. proposal.md — Why.
|
||||
|
||||
## Goals / Non-Goals
|
||||
|
||||
**Goals:**
|
||||
- Создать `i18n/ru.toml` с переводами всех ключей, используемых шаблонами rDedInit.
|
||||
- Русский UI без изменения разметки и контента.
|
||||
|
||||
**Non-Goals:**
|
||||
- Не переводим содержимое контента (посты).
|
||||
- Не добавляем мультиязычность (en/ru переключатель) — вне рамок задачи.
|
||||
|
||||
## Decisions
|
||||
|
||||
- **Формат TOML** (Hugo i18n) — стандарт Hugo, `ru.toml` рядом с другими локалями.
|
||||
- **Источник ключей**: извлечены из `themes/rDedInit/layouts/` — `home`, `next_page`, `prev_page`, `read_time`, `words`, `toc`, `code_copy`, `code_copied`, `edit_post`, `translations`; дополнительно стандартные ключи PaperMod (`search`, `page_not_found`, `archives`, `tags`, `categories`, `posted_on`, `continue_reading`, `min_read`, `newer`, `older`, `page`, `of`, `read_more`, `translations` и др.) для полноты — отсутствующий ключ Hugo просто не находит и ничего не ломает (fallback).
|
||||
- **Структура строки**: `[ключ]\nother = "перевод"` — Hugo i18n-формат (other — для языков без gender/plural).
|
||||
- **Проверка**: `make build` + grep в public/ на русские строки («Читать далее», «Теги», «Содержание»).
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
- [Перевод строки, которую тема не использует] → Не навредит: Hugo игнорирует неиспользуемые ключи; лишние ключи просто расширяют словарь (fallback при будущих фичах темы).
|
||||
- [Ключ использован темой, но перевод терминологически неточен] → Быстрый фикс: правим одну строку в ru.toml; git-история позволит откатить.
|
||||
@@ -1,23 +0,0 @@
|
||||
## Why
|
||||
|
||||
Сайт dedinit.ru — русскоязычный блог (язык ru-ru), но в теме rDedInit (форк PaperMod) отсутствует файл `i18n/ru.toml`, из-за чего интерфейсные строки (кнопки, навигация, время чтения) показываются на английском по умолчанию. Это выглядит неаккуратно для русскоязычной аудитории.
|
||||
|
||||
## What Changes
|
||||
|
||||
- Создать `i18n/ru.toml` с русскими переводами всех UI-ключей темы rDedInit (PaperMod).
|
||||
- Перевести строки: Home → «Главная», Read time → «Время чтения», Words → «слов», Table of Contents → «Содержание», Code copy → «Копировать код», Code copied → «Скопировано», Edit post → «Редактировать пост», Next → «Следующая», Prev → «Предыдущая», Translations → «Переводы», Search → «Поиск» (и др. стандартные ключи PaperMod).
|
||||
- Поведение сайта, разметка, контент — не меняются; это чисто интернационализация UI.
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `i18n`: русская локализация интерфейса темы (ключи-переводы UI). Новая способность проекта «русская локализация UI».
|
||||
|
||||
### Modified Capabilities
|
||||
Отсутствуют — существующих spec в `openspec/specs/` не затронуто (site-rss не меняется).
|
||||
|
||||
## Impact
|
||||
|
||||
- Затронутые файлы: `i18n/ru.toml` (новый).
|
||||
- Не затрагивает: контент, шаблоны, деплой, RSS.
|
||||
- Откат (rollback): удалить `i18n/ru.toml` (или `git revert`) — сайт вернётся к английским строкам по умолчанию, как сейчас.
|
||||
@@ -1,39 +0,0 @@
|
||||
## Purpose
|
||||
|
||||
Обеспечивает русскоязычный интерфейс сайта dedinit.ru: все UI-строки темы (навигация, время чтения, код, пагинация) отображаются на русском языке для аудитории ru-ru.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Русские UI-строки в i18n/ru.toml
|
||||
Система SHALL предоставлять файл `i18n/ru.toml`, содержащий русские переводы всех ключей интерфейса, используемых темой rDedInit (PaperMod): `home`, `next_page`, `prev_page`, `read_time`, `words`, `toc`, `code_copy`, `code_copied`, `edit_post`, `translations`, `search`, `page_not_found` и стандартные ключи PaperMod.
|
||||
|
||||
#### Scenario: Главная страница
|
||||
- **WHEN** пользователь открывает главную страницу сайта
|
||||
- **THEN** строка навигации «Home» отображается как «Главная»
|
||||
|
||||
#### Scenario: Время чтения статьи
|
||||
- **WHEN** пользователь открывает статью с временем чтения
|
||||
- **THEN** строка «X min read» отображается как «X мин чтения» (или эквивалент на русском)
|
||||
|
||||
#### Scenario: Оглавление
|
||||
- **WHEN** статья содержит оглавление
|
||||
- **THEN** заголовок оглавления отображается как «Содержание», а не «Table of Contents»
|
||||
|
||||
#### Scenario: Кнопки копирования кода
|
||||
- **WHEN** пользователь наводит на блок кода
|
||||
- **THEN** подсказка отображается как «Копировать код»; после копирования — «Скопировано»
|
||||
|
||||
#### Scenario: Пагинация
|
||||
- **WHEN** пользователь видит пагинацию списка постов
|
||||
- **THEN** ссылки отображаются как «Следующая» / «Предыдущая», а не «Next» / «Prev»
|
||||
|
||||
#### Scenario: Отсутствующий ключ
|
||||
- **WHEN** в теме используется ключ, отсутствующий в `i18n/ru.toml`
|
||||
- **THEN** сайт продолжает работать, отображая ключ по умолчанию из темы (Hugo fallback) — поведение не ломается
|
||||
|
||||
### Requirement: Фолбэк на английский при отсутствии перевода
|
||||
Система SHALL сохранять работоспособность сайта при отсутствии какого-либо ключа: Hugo отображает строку по умолчанию темы (английскую), сайт не падает и не ломает разметку.
|
||||
|
||||
#### Scenario: Нет ключа в ru.toml
|
||||
- **WHEN** в ru.toml отсутствует конкретный ключ
|
||||
- **THEN** Hugo использует значение по умолчанию из темы (английское) и сборка проходит без ошибок
|
||||
@@ -1,10 +0,0 @@
|
||||
## 1. Локализация
|
||||
|
||||
- [ ] 1.1 Создать каталог `i18n/` и файл `i18n/ru.toml` с переводами всех ключей темы (home, next_page, prev_page, read_time, words, toc, code_copy, code_copied, edit_post, translations) и стандартных ключей PaperMod (search, page_not_found, archives, tags, categories, posted_on, continue_reading, min_read, newer, older, read_more и др.) — проверить `ls i18n/ru.toml`
|
||||
- [ ] 1.2 Собрать сайт: `make build` — сборка проходит без ошибок (exit 0)
|
||||
|
||||
## 2. Проверка
|
||||
|
||||
- [ ] 2.1 Проверить в собранном public/ русские строки: `grep -r "Читать далее" public/ | head` и `grep -r "Содержание" public/ | head` — обе строки присутствуют в HTML
|
||||
- [ ] 2.2 Проверить пагинацию: `grep -r "Следующая" public/ | head` и `grep -r "Предыдущая" public/ | head` — присутствуют
|
||||
- [ ] 2.3 Закоммитить `i18n/ru.toml` и запушить в gitverse (origin main)
|
||||
@@ -0,0 +1,48 @@
|
||||
# archive-by-year-month Specification
|
||||
|
||||
## Purpose
|
||||
Страница «Архив» (/posts/) блога dedinit.ru отображает все посты,
|
||||
сгруппированные по годам и месяцам (как штатный архив Hugo), вместо
|
||||
плоского списка с пагинацией.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Группировка постов по годам и месяцам
|
||||
Система SHALL отображать на странице /posts/ список всех постов,
|
||||
сгруппированный по годам публикации, и внутри каждого года — по месяцам
|
||||
публикации. Заголовки содержат год/месяц и количество постов в группе.
|
||||
|
||||
#### Scenario: Страница /posts/ показывает годы
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** страница содержит заголовки годов (например «2026», «2023»), под каждым — посты этого года
|
||||
- **AND** возле каждого года отображается количество постов
|
||||
|
||||
#### Scenario: Внутри года посты сгруппированы по месяцам
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** внутри каждого года посты сгруппированы по месяцам публикации (например «January», «September»)
|
||||
- **AND** возле каждого месяца отображается количество постов
|
||||
|
||||
#### Scenario: Каждый пост — ссылка на свою страницу
|
||||
- **WHEN** пользователь видит запись в архиве
|
||||
- **THEN** заголовок поста является ссылкой на его страницу (permalink)
|
||||
- **AND** под заголовком отображаются метаданные поста (дата и пр.)
|
||||
|
||||
### Requirement: Заголовок и описание страницы
|
||||
Система SHALL отображать на странице /posts/ заголовок «Архив» и описание
|
||||
страницы (из frontmatter секции).
|
||||
|
||||
#### Scenario: Заголовок страницы
|
||||
- **WHEN** пользователь открывает страницу /posts/
|
||||
- **THEN** заголовок страницы — «Архив»
|
||||
|
||||
### Requirement: Сохранение остальной функциональности секции
|
||||
Система SHALL сохранять работоспособность RSS-ленты секции /posts/ и URL
|
||||
постов (permalinks не меняются) при переключении layout на архив.
|
||||
|
||||
#### Scenario: RSS секции не сломан
|
||||
- **WHEN** пользователь запрашивает RSS-ленту секции /posts/ (index.xml)
|
||||
- **THEN** лента валидна и содержит посты секции
|
||||
|
||||
#### Scenario: Permalinks постов не меняются
|
||||
- **WHEN** пользователь открывает пост из архива
|
||||
- **THEN** URL поста соответствует permalink /:year/:slug/ (как и раньше)
|
||||
@@ -0,0 +1,45 @@
|
||||
# series-and-menu Specification
|
||||
|
||||
## Purpose
|
||||
Шапка и контент dedinit.ru: таксономия серий постов (series), переключатель
|
||||
темы справа у меню, иконки соцсетей в верхнем меню.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Series taxonomy
|
||||
|
||||
Таксономия `series` позволяет группировать посты в серии и показывает на
|
||||
странице поста модуль навигации по серии.
|
||||
|
||||
#### Scenario: Taxonomy enabled
|
||||
- Given hugo.toml has `[taxonomies] series = "series"`
|
||||
- When site is built
|
||||
- Then `/series/` term page exists and posts can be marked with `series`
|
||||
|
||||
#### Scenario: Series module on a post
|
||||
- Given a post with `series: ["Test"]` and `series_order: 2` in front-matter
|
||||
- When that post is rendered
|
||||
- Then a "Серия" block is visible at the top of the content
|
||||
- And it shows the series name, position («2 из N»)
|
||||
- And it links to the previous article (if any) and next article (if any)
|
||||
|
||||
### Requirement: Theme toggle on the right
|
||||
|
||||
Переключатель темы (солнце/луна) отображается в правой части шапки, сразу
|
||||
после пунктов меню.
|
||||
|
||||
#### Scenario: Toggle next to the menu
|
||||
- Given the header markup with `.logo-switches` inside `.logo`
|
||||
- When the page is rendered
|
||||
- Then the theme toggle button is displayed at the right end of `.nav`,
|
||||
after `#menu`
|
||||
|
||||
### Requirement: Social icons in the header
|
||||
|
||||
Иконки соцсетей из `[params.socialIcons]` отображаются в верхнем меню рядом
|
||||
с переключателем темы.
|
||||
|
||||
#### Scenario: Icons rendered from params
|
||||
- Given `[params.socialIcons]` with github and telegram entries
|
||||
- When the page is rendered
|
||||
- Then links with SVG icons appear in the header nav, next to the menu
|
||||
+128
-26
@@ -1,14 +1,29 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Deploy public/ -> /dedinit.ru on Jino (SFTP-only, password auth).
|
||||
|
||||
Используется командой `make deploy` (единственный способ деплоя сайта).
|
||||
Единственный способ деплоя сайта (Gitea Actions / локально).
|
||||
Jino-аккаунт kpa39l_dedinit — SFTP-only: удалённый exec (rsync/ssh) запрещён,
|
||||
поэтому заливаем через SFTP с рекурсивным mirror и --delete (как rsync).
|
||||
поэтому mirror-заливка через SFTP с удалением лишнего (как rsync --delete).
|
||||
Пароль — из env SSHPASS (см. README.md / docs/DEPLOY_INSTRUCTIONS.md).
|
||||
|
||||
Инкрементально: файл пропускается, если на сервере уже есть файл того же
|
||||
размера И с тем же SHA1-хешем (точно). В CI (Gitea Actions) mtime после
|
||||
checkout всегда свежий, поэтому mtime НЕ используется для сравнения —
|
||||
только размер + содержимое. Это гарантирует, что тяжёлые неизменные
|
||||
файлы (PDF/M4V) не переливаются повторно.
|
||||
|
||||
Защита от зависаний:
|
||||
- Transport.set_keepalive(15) — пинги каждые 15с; при мёртвом соединении
|
||||
канал падает сам.
|
||||
- Таймаут на канал SFTP: channel.settimeout(120) — операция дольше 120с
|
||||
прерывается с ошибкой (а не висит вечно).
|
||||
- Ретраи: put/remove при обрыве переподключаются и повторяют операцию
|
||||
(до 3 попыток).
|
||||
"""
|
||||
import hashlib
|
||||
import os
|
||||
import stat as stmod
|
||||
import sys
|
||||
import time
|
||||
|
||||
try:
|
||||
import paramiko
|
||||
@@ -24,7 +39,7 @@ LOCAL = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "public")
|
||||
REMOTE = os.environ.get("DEDINIT_REMOTE", "/dedinit.ru")
|
||||
DRYRUN = "--dry-run" in sys.argv
|
||||
|
||||
if not PASS:
|
||||
if not PASS and not DRYRUN:
|
||||
print("ОШИБКА: переменная SSHPASS (пароль SFTP) не задана. См. README.md / docs/DEPLOY_INSTRUCTIONS.md", file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
@@ -33,9 +48,31 @@ if not os.path.isdir(LOCAL):
|
||||
print(f"ОШИБКА: нет каталога {LOCAL}. Сначала: make build", file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
t = paramiko.Transport((HOST, PORT))
|
||||
t.connect(username=USER, password=PASS)
|
||||
sftp = paramiko.SFTPClient.from_transport(t)
|
||||
|
||||
def connect():
|
||||
t = paramiko.Transport((HOST, PORT))
|
||||
t.banner_timeout = 30
|
||||
t.set_keepalive(15)
|
||||
t.connect(username=USER, password=PASS)
|
||||
sftp = paramiko.SFTPClient.from_transport(t)
|
||||
ch = sftp.get_channel()
|
||||
ch.settimeout(120)
|
||||
return t, sftp
|
||||
|
||||
|
||||
def disconnect(t, sftp):
|
||||
try:
|
||||
sftp.close()
|
||||
except Exception:
|
||||
pass
|
||||
try:
|
||||
t.close()
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
t = None
|
||||
sftp = None
|
||||
|
||||
|
||||
def rlist(path):
|
||||
@@ -47,13 +84,74 @@ def rlist(path):
|
||||
for e in entries:
|
||||
full = os.path.join(path, e.filename)
|
||||
rel = os.path.relpath(full, REMOTE)
|
||||
isdir = stmod.S_ISDIR(e.st_mode)
|
||||
isdir = e.st_mode and (e.st_mode & 0o170000) == 0o040000
|
||||
out.append((rel, isdir))
|
||||
if isdir:
|
||||
out.extend(rlist(full))
|
||||
return out
|
||||
|
||||
|
||||
def local_sha1(lpath):
|
||||
h = hashlib.sha1()
|
||||
with open(lpath, "rb") as f:
|
||||
while True:
|
||||
chunk = f.read(1024 * 1024)
|
||||
if not chunk:
|
||||
break
|
||||
h.update(chunk)
|
||||
return h.hexdigest()
|
||||
|
||||
|
||||
def remote_sha1(rpath):
|
||||
"""SHA1 содержимого удалённого файла через SFTP (поток, без временных копий)."""
|
||||
h = hashlib.sha1()
|
||||
with sftp.open(rpath, "rb") as rf:
|
||||
while True:
|
||||
chunk = rf.read(1024 * 1024)
|
||||
if not chunk:
|
||||
break
|
||||
h.update(chunk)
|
||||
return h.hexdigest()
|
||||
|
||||
|
||||
def same_file(lpath, rstat):
|
||||
"""True, если удалённый файл совпадает с локальным (размер + SHA1).
|
||||
|
||||
mtime НЕ используется (в CI после checkout он всегда свежий).
|
||||
Для каждого файла: если размеры разные — льём сразу; если равны —
|
||||
сравниваем SHA1 содержимого (медленно для крупных, но надёжно и
|
||||
позволяет пропускать неизменные PDF/M4V).
|
||||
"""
|
||||
lsize = os.path.getsize(lpath)
|
||||
if rstat.st_size != lsize:
|
||||
return False
|
||||
try:
|
||||
return local_sha1(lpath) == remote_sha1(rpath)
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
|
||||
def with_retry(fn, *args, retries=3, desc=""):
|
||||
global t, sftp
|
||||
for attempt in range(1, retries + 1):
|
||||
try:
|
||||
return fn(*args)
|
||||
except Exception as e:
|
||||
if attempt == retries:
|
||||
print(f" ! {desc}: {e} (после {retries} попыток)", file=sys.stderr)
|
||||
raise
|
||||
print(f" ! {desc}: {e} — переподключение ({attempt}/{retries})", file=sys.stderr)
|
||||
disconnect(t, sftp)
|
||||
time.sleep(2)
|
||||
t, sftp = connect()
|
||||
|
||||
|
||||
try:
|
||||
t, sftp = connect()
|
||||
except Exception as e:
|
||||
print(f"ОШИБКА: не удалось подключиться к {HOST}:{PORT}: {e}", file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
print(f"Копирую {LOCAL} -> sftp://{USER}@{HOST}:{PORT}{REMOTE}/"
|
||||
+ (" (DRY-RUN)" if DRYRUN else ""))
|
||||
|
||||
@@ -62,14 +160,11 @@ for root, dirs, files in os.walk(LOCAL):
|
||||
for f in files:
|
||||
local_files.append(os.path.relpath(os.path.join(root, f), LOCAL))
|
||||
|
||||
if not DRYRUN:
|
||||
remote_entries = rlist(REMOTE)
|
||||
remote_files = {r for r, d in remote_entries if not d}
|
||||
remote_entries = rlist(REMOTE) if not DRYRUN else []
|
||||
remote_files = {r for r, d in remote_entries if not d}
|
||||
|
||||
uploaded = skipped = 0
|
||||
for rel in sorted(local_files):
|
||||
if DRYRUN:
|
||||
print(" +", rel)
|
||||
continue
|
||||
lpath = os.path.join(LOCAL, rel)
|
||||
rpath = os.path.join(REMOTE, rel)
|
||||
rdir = os.path.dirname(rpath)
|
||||
@@ -85,18 +180,25 @@ for rel in sorted(local_files):
|
||||
sftp.mkdir(cur)
|
||||
except IOError:
|
||||
pass
|
||||
sftp.put(lpath, rpath)
|
||||
print(" +", rel)
|
||||
try:
|
||||
rstat = sftp.stat(rpath)
|
||||
except IOError:
|
||||
rstat = None
|
||||
if rstat is not None and same_file(lpath, rstat):
|
||||
skipped += 1
|
||||
print(f" = {rel}")
|
||||
continue
|
||||
if not DRYRUN:
|
||||
with_retry(sftp.put, lpath, rpath, desc=f"put {rel}")
|
||||
uploaded += 1
|
||||
print(f" + {rel}")
|
||||
|
||||
if not DRYRUN:
|
||||
to_delete = remote_files - set(local_files)
|
||||
for rel in sorted(to_delete):
|
||||
try:
|
||||
sftp.remove(os.path.join(REMOTE, rel))
|
||||
print(" -", rel)
|
||||
except Exception as e:
|
||||
print(" !", rel, e)
|
||||
to_delete = sorted(remote_files - set(local_files))
|
||||
for rel in to_delete:
|
||||
with_retry(sftp.remove, os.path.join(REMOTE, rel), desc=f"remove {rel}")
|
||||
print(f" - {rel}")
|
||||
|
||||
sftp.close()
|
||||
t.close()
|
||||
print("Готово." if not DRYRUN else "DRY-RUN завершён: показаны изменения без заливки.")
|
||||
disconnect(t, sftp)
|
||||
print(f"Готово: {uploaded} залито, {skipped} пропущено."
|
||||
if not DRYRUN else f"DRY-RUN завершён: будет залито {uploaded}, пропущено {skipped}.")
|
||||
@@ -1,4 +1,4 @@
|
||||
open sftp://kpa39l_dedinit:-Zp4ep747t25@kpa39l.myjino.ru:2222/
|
||||
open sftp://kpa39l_dedinit:PASSWORD@kpa39l.myjino.ru:2222/
|
||||
synchronize remote public/ /dedinit.ru/ -delete -transfer=binary
|
||||
close
|
||||
exit
|
||||
Reference in New Issue
Block a user