feat(web): перевод поста на русский локальной моделью (openspec post-translate)

Кнопка «🌐 Перевести» в карточках кандидатов и отобранных переводит пост локальной моделью (qwen3:8b-nothink), результат в posts.translated_text (идемпотентный ALTER при старте). Метка «Оригинальный пост» стала закладкой, при готовом переводе рядом появляется закладка «Перевод» (активна по умолчанию), переключение на vanilla JS. Повторный клик не тратит токены: перевод в БД. call_ollama из classifier не подошла (парсит ответ как JSON) — прямой запрос к Ollama /v1/chat/completions. POST /posts/{id}/translate, лимит 6000 символов.
2026-09-29 09:55:03 +00:00 · 2026-09-18 05:40:59 +00:00
parent 745680a3a0
commit 4a166fa9d6
9 changed files with 530 additions and 29 deletions
@@ -126,6 +126,9 @@ def _migrate():
        if "is_read" not in cols:
            conn.execute("ALTER TABLE posts ADD COLUMN is_read INTEGER DEFAULT 0")
            conn.commit()
+        if "translated_text" not in cols:
+            conn.execute("ALTER TABLE posts ADD COLUMN translated_text TEXT")
+            conn.commit()
    finally:
        conn.close()

@@ -202,6 +205,65 @@ def _cand_back(group_by: str = "", direction: str = "", own: str = "", q: str =
    return (f"/{src}?" + "&".join(parts)) if parts else f"/{src}"


+def _post_sources(post: dict | None) -> list[dict]:
+    """Источники, найденные в тексте поста: + флаг known (уже в реестре). Без LLM."""
+    if not post:
+        return []
+    from sources.extract import extract_sources_from_text
+    found = extract_sources_from_text(post.get("text") or "", post.get("url"))
+    if not found:
+        return []
+    with _db() as conn:
+        slugs = {r[0] for r in conn.execute("SELECT slug FROM sources")}
+    for f in found:
+        f["known"] = f["slug_hint"] in slugs
+    return found
+
+
+TRANSLATE_MAX_CHARS = 6000
+
+
+def _translate_text(text: str) -> str:
+    """Перевод текста поста на русский локальной моделью (qwen3:8b-nothink).
+
+    Возвращает переведённый текст; при неудаче бросает исключение (обрабатывается
+    в роуте — редирект с error). Текст обрезается до TRANSLATE_MAX_CHARS.
+
+    Прямой запрос к Ollama (не через call_ollama из classifier): call_ollama
+    захардкожена под классификацию — парсит ответ модели как JSON, а перевод
+    это обычный текст, и JSON-парсинг его ломает.
+    """
+    import httpx
+    from classifier.classify import OLLAMA_URL, OLLAMA_MODEL, TIMEOUT
+    src = (text or "").strip()[:TRANSLATE_MAX_CHARS]
+    if not src:
+        raise ValueError("empty text")
+    prompt = (
+        "Переведи новость на русский язык. Сохрани смысл, факты, имена,\n"
+        "числа и ссылки. Не пересказывай своими словами — это именно перевод.\n"
+        "Верни ТОЛЬКО перевод, без пояснений, без кавычек вокруг.\n\n"
+        f"Оригинал:\n{src}"
+    )
+    r = httpx.post(
+        f"{OLLAMA_URL}/v1/chat/completions",
+        json={
+            "model": OLLAMA_MODEL,
+            "messages": [{"role": "user", "content": prompt}],
+            "temperature": 0.2,
+            "stream": False,
+            "think": False,
+        },
+        timeout=TIMEOUT,
+    )
+    r.raise_for_status()
+    data = r.json()
+    content = (data.get("choices") or [{}])[0].get("message", {}).get("content") or ""
+    t = content.strip()
+    if not t:
+        raise ValueError("empty translation")
+    return t
+
+
 STATUS_LABELS = {
    "new": "💎 Новые",
    "selected": "⭐ Отобранные",
@@ -337,7 +399,7 @@ def _fetch_candidates(conn, direction: str, status: str, own: str, q: str, group

@app.get("/candidates", response_class=HTMLResponse)
 def candidates(request: Request, direction: str = "", status: str = "", own: str = "",
-               q: str = "", group_by: str = "date", selected: int = 0, error: str = ""):
+             q: str = "", group_by: str = "date", selected: int = 0, error: str = "", did: str = ""):
    _require_auth(request)
    conn = _db()
    grouped, counts, status = _fetch_candidates(conn, direction, status, own, q, group_by)
@@ -370,15 +432,16 @@ def candidates(request: Request, direction: str = "", status: str = "", own: str
    filters_qs = "&".join(qs)
    html = tpl.get_template("candidates.html").render(
        posts=grouped, counts=counts, status=status, direction=direction, own=own,
-        q=q, group_by=group_by, selected=sel, error=error, filters_qs=filters_qs,
+        q=q, group_by=group_by, selected=sel, error=error, did=did, filters_qs=filters_qs,
        directions=DIRECTIONS, STATUS_LABELS=STATUS_LABELS, STATUS_COLORS=STATUS_COLORS,
+        post_sources=_post_sources(sel),
    )
    return HTMLResponse(html)


@app.get("/selected", response_class=HTMLResponse)
 def selected(request: Request, direction: str = "", own: str = "", q: str = "",
-             group_by: str = "date", selected: int = 0, error: str = ""):
+             group_by: str = "date", selected: int = 0, error: str = "", did: str = ""):
    """Отобранные: только status='selected' (внешние). Полная обработка постов."""
    _require_auth(request)
    conn = _db()
@@ -411,8 +474,9 @@ def selected(request: Request, direction: str = "", own: str = "", q: str = "",
    filters_qs = "&".join(qs)
    html = tpl.get_template("selected.html").render(
        posts=grouped, counts=counts, status="selected", direction=direction, own=own,
-        q=q, group_by=group_by, selected=sel, error=error, filters_qs=filters_qs,
+        q=q, group_by=group_by, selected=sel, error=error, did=did, filters_qs=filters_qs,
        directions=DIRECTIONS, STATUS_LABELS=STATUS_LABELS, STATUS_COLORS=STATUS_COLORS,
+        post_sources=_post_sources(sel),
    )
    return HTMLResponse(html)

@@ -572,24 +636,36 @@ def post_comment(post_id: int, request: Request, comment: str = Form(""),
@app.post("/posts/{post_id}/reclassify")
 def post_reclassify(post_id: int, request: Request,
                    group_by: str = Form(""), direction: str = Form(""), own: str = Form(""), q: str = Form(""),
-                    src: str = Form("candidates")):
-    """Переклассификация локальной моделью (qwen)."""
+                    src: str = Form("candidates"), manual_direction: str = Form("")):
+    """Переклассификация локальной моделью (qwen) или ручное указание направления."""
    _require_auth(request)
    try:
-        impl_reclassify(post_id)
+        impl_reclassify(post_id, manual_direction)
    except Exception as e:
        return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, selected=post_id, error=f"reclassify:{e}"), status_code=302)
    return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, selected=post_id), status_code=302)


-def impl_reclassify(post_id: int):
-    """Перезапуск классификации локальной моделью. Бросает исключение при неудаче."""
-    from classifier.classify import classify_text
+def impl_reclassify(post_id: int, manual_direction: str = ""):
+    """Перезапуск классификации локальной моделью. Если manual_direction задан и каноничен —
+    направление ставится напрямую, без LLM. Бросает исключение при неудаче."""
+    from classifier.keywords import DIRECTIONS_CANON
    conn = _db()
    p = conn.execute("SELECT * FROM posts WHERE id=?", (post_id,)).fetchone()
    if not p:
        conn.close()
        raise ValueError("notfound")
+    md = (manual_direction or "").strip()
+    if md in DIRECTIONS_CANON:
+        # ручное направление: без LLM, как словарное попадание
+        conn.execute(
+            "UPDATE posts SET direction=?, relevance=?, interest=?, summary=?, classified=1 WHERE id=?",
+            (md, "low", 1, "", post_id),
+        )
+        conn.commit()
+        conn.close()
+        return
+    from classifier.classify import classify_text
    res = classify_text(dict(p))
    conn.execute(
        "UPDATE posts SET direction=?, relevance=?, interest=?, summary=?, classified=? WHERE id=?",
@@ -632,6 +708,30 @@ def post_rewrite(post_id: int, request: Request,
    return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, selected=post_id), status_code=302)


+@app.post("/posts/{post_id}/translate")
+def post_translate(post_id: int, request: Request,
+                   group_by: str = Form(""), direction: str = Form(""), own: str = Form(""), q: str = Form(""),
+                   src: str = Form("candidates")):
+    """Перевод поста на русский локальной моделью. Повторный клик при готовом
+    переводе токены не тратит (translated_text уже заполнен)."""
+    _require_auth(request)
+    conn = _db()
+    p = conn.execute("SELECT * FROM posts WHERE id=?", (post_id,)).fetchone()
+    if not p:
+        conn.close()
+        return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, error="notfound"), status_code=302)
+    if not (p["translated_text"] or "").strip():
+        try:
+            t = _translate_text(p["text"] or "")
+        except Exception as e:
+            conn.close()
+            return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, selected=post_id, error=f"translate:{e}"), status_code=302)
+        conn.execute("UPDATE posts SET translated_text=? WHERE id=?", (t, post_id))
+        conn.commit()
+    conn.close()
+    return RedirectResponse(url=_cand_back(group_by, direction, own, q, src=src, selected=post_id), status_code=302)
+
+
@app.get("/published", response_class=HTMLResponse)
 def published(request: Request):
    _require_auth(request)
@@ -965,6 +1065,57 @@ async def sources_add(request: Request):
    return RedirectResponse(url=f"/sources?did=added:{res}", status_code=302)


+@app.post("/sources/add-from-post")
+async def sources_add_from_post(request: Request):
+    """Быстрое добавление источника из карточки поста (кнопка «➕» в «Источники из поста»).
+
+    Форма несёт address и crawler; создаём источник как при ручном добавлении,
+    возвращаемся на страницу кандидатов/отобранных с did-сообщением.
+    """
+    _require_auth(request)
+    form = await request.form()
+    address = (form.get("address") or "").strip()
+    crawler = (form.get("crawler") or "telegram").strip()
+    src = form.get("src") or "candidates"
+    selected_id = int(form.get("selected") or 0)
+    group_by = form.get("group_by") or ""
+    direction = form.get("direction") or ""
+    own = form.get("own") or ""
+    q = form.get("q") or ""
+
+    back = _cand_back(group_by, direction, own, q, src=src, selected=selected_id)
+    if not address:
+        return RedirectResponse(url=back + "&did=error:empty_address", status_code=302)
+
+    parsed = parse_address(address, crawler)
+    if not parsed:
+        return RedirectResponse(url=back + "&did=error:bad_address", status_code=302)
+
+    slug = parsed.get("slug")
+    with _db() as conn:
+        exists = conn.execute("SELECT 1 FROM sources WHERE slug=?", (slug,)).fetchone()
+    if exists:
+        return RedirectResponse(url=back + f"&did=exists:{slug}", status_code=302)
+
+    # имя — человекочитаемое: для telegram берём handle, для site — домен
+    name = address
+    ok, res = add_or_update_source({
+        "slug": slug,
+        "name": f"Из поста: {name}",
+        "crawler": crawler,
+        "url": parsed.get("url"),
+        "channel": parsed.get("channel"),
+        "feed_url": parsed.get("feed_url"),
+        "direction": "",
+        "lang": "ru",
+        "priority": "P1",
+        "enabled": True,
+    })
+    if not ok:
+        return RedirectResponse(url=back + f"&did=error:{res}", status_code=302)
+    return RedirectResponse(url=back + f"&did=added:{slug}", status_code=302)
+
+
@app.post("/sources/{source_id}/edit")
 async def sources_edit(source_id: int, request: Request):
    """Редактирование источника: обновляем yaml (slug не меняем) + полный ре-синк."""