rss-formatting-preserve: сохранять форматирование RSS-новостей (абзацы, разметка)

Why

Пользователь: в RSS omarchy внутри текста новости есть HTML-символы, а мы их «выкидываем» из текста, из-за чего вся новость в предпросмотре отображается сплошным текстом, ничего не понять. Нужно при скачивании из источников RSS сохранять заложенное форматирование.

Разбор:

html_to_text() (crawler/rss_crawler.py) режет HTML корректно, но без разделителей между блочными элементами (p/li/h1-6/blockquote) — абзацы/списки сливаются в один кусок.
После этого re.sub(r"\s+", " ", text) (стр. 143) схлопывает и переносы строк — даже если бы были \n\n, они превращаются в один пробел. Итог: «сплошной текст».
В вебе md_filter (web/app.py) вызывается на text из RSS — синтаксис HTML (b/i/a) экранируется и виден как текст-каша, а markdown-разметки в RSS-тексте нет.

Design

1. Краулер: сохранять структуру абзацев

html_to_text():

после удаления script/style/noscript — вставлять переносы-разделители вокруг блочных тегов (p, div, li, h1–h6, blockquote, pre, tr), чтобы они давали \n\n между абзацами и \n внутри list-item.
текст по-прежнему plain (в БД хранится текст, а не HTML) — просто читаемая структура.

parse_entries() (стр. 143): заменить re.sub(r"\s+", " ", text) на нормализацию:

схлопывать 3+ переноса до 2 (максимум пустая строка между абзацами);
убирать горизонтальные пробелы в начале/конце строк и перед переносами;
пробелы внутри строки НЕ трогать (сохраняются слова/URL).

2. Веб: безопасный рендер HTML-разметки из RSS

Исходный текст поста (RSS) в предпросмотре (кандидаты, отобранные) — рендерить как безопасный HTML подмножеством тегов, а не экранировать в тёмную кашу:

новый фильтр safe_html в web/app.py на основе bleach: bleach.clean(text, tags=ALLOWED, attributes={'a': ['href', 'title']}, protocols=['http','https']) + bleach.linkify;
применяется ТОЛЬКО к text (оригинал из RSS) в candidates.html и selected.html;
markdown-фильтр (md_filter) остаётся для пересказов/комментариев (markdown от модели).

Публикация (publisher/card.py) не меняется: в канал уходит plain text, абзацы \n\n будут сохранены — Telegram корректно отобразит переносы.

Безопасность

safe_html — allowlist-санитайзер (bleach): никаких script/style/iframe/on*, href только http(s), linkify распознаёт ссылки. XSS-поверхности нет.
md_filter не меняется (остаётся escape→markdown).

Files

crawler/rss_crawler.py — html_to_text(), parse_entries() (абзацы, нормализация).
web/app.py — фильтр safe_html (bleach).
web/templates/candidates.html — {{ selected.text | safe_html }}.
web/templates/selected.html — {{ selected.text | safe_html }}.
requirements.txt — +bleach.

4.0 KiB Raw Permalink Blame History Unescape Escape