Compare commits
16 Commits
7aa0d191db
...
master
| Author | SHA1 | Date | |
|---|---|---|---|
 hermes
|
8bff6f9aa4 | ||
|
hermes
|
7550aff102 | ||
|
hermes
|
8ea022f5c0 | ||
|
hermes
|
17252ebfa9 | ||
|
hermes
|
de07fae246 | ||
|
hermes
|
2a597f7325 | ||
|
hermes
|
02e2b87072 | ||
|
hermes
|
868f85b686 | ||
|
hermes
|
9603f3b1c5 | ||
|
hermes
|
89e9e3441d | ||
|
hermes
|
4252b596f3 | ||
|
hermes
|
f44bc27ce1 | ||
|
hermes
|
757f3413e9 | ||
|
hermes
|
e31b5f2552 | ||
|
hermes
|
d4bf3ed1ad | ||
|
hermes
|
c7430d1b8a |
@@ -8,6 +8,7 @@ venv/
|
||||
# Environment
|
||||
.env
|
||||
*.env.local
|
||||
*.env.bak*
|
||||
|
||||
# OS
|
||||
.DS_Store
|
||||
@@ -19,3 +20,7 @@ Thumbs.db
|
||||
|
||||
# Git
|
||||
*.orig
|
||||
|
||||
# Radicale — данные (коллекции, users с паролями)
|
||||
radicale/data/
|
||||
# Vikunja — секреты в .env уже выше; данные в volumes docker (не в каталоге)
|
||||
|
||||
@@ -0,0 +1,188 @@
|
||||
---
|
||||
name: openspec-apply-change
|
||||
description: Implement tasks from an OpenSpec change. Use when the user wants to start implementing, continue implementation, or work through tasks.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Implement tasks from an OpenSpec change.
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
**Input**: Optionally specify a change name (e.g., `/openspec-apply-change add-auth`). If omitted, check if it can be inferred from conversation context. If vague or ambiguous you MUST prompt for available changes.
|
||||
|
||||
**Steps**
|
||||
|
||||
1. **Select the change**
|
||||
|
||||
If a name is provided, use it. Otherwise:
|
||||
- Infer from conversation context if the user mentioned a change
|
||||
- Auto-select if only one active change exists
|
||||
- If ambiguous, run `openspec list --json` to get available changes and ask the user to select one
|
||||
|
||||
Always announce: "Using change: <name>" and how to override (e.g., `/openspec-apply-change <other>`).
|
||||
|
||||
2. **Check status to understand the schema**
|
||||
```bash
|
||||
openspec status --change "<name>" --json
|
||||
```
|
||||
Parse the JSON to understand:
|
||||
- `schemaName`: The workflow being used (e.g., "spec-driven")
|
||||
- `planningHome`, `changeRoot`, and `actionContext`: planning scope and edit constraints
|
||||
- Which artifact contains the tasks (typically "tasks" for spec-driven, check status for others)
|
||||
|
||||
3. **Get apply instructions**
|
||||
|
||||
```bash
|
||||
openspec instructions apply --change "<name>" --json
|
||||
```
|
||||
|
||||
This returns:
|
||||
- `contextFiles`: artifact ID -> array of concrete file paths (varies by schema - could be proposal/specs/design/tasks or spec/tests/implementation/docs)
|
||||
- Progress (total, complete, remaining)
|
||||
- Task list with status
|
||||
- Dynamic instruction based on current state
|
||||
- Optional `context`: current required project instruction input from the selected root
|
||||
- Optional `operationGuidance`: current advisory guidance for apply
|
||||
|
||||
**Handle states:**
|
||||
- If `state: "blocked"` (missing artifacts): show message, suggest using `/openspec-continue-change` (if it is not installed, run `openspec status --change "<name>" --json` to see the next artifact and `openspec instructions <artifact-id> --change "<name>" --json` for how to create it)
|
||||
- If `state: "all_done"`: congratulate, suggest archive
|
||||
- Otherwise: proceed to implementation
|
||||
|
||||
Treat `context` as a required prompt-level input. Read and consider it, and
|
||||
apply relevant project facts, conventions, and constraints while implementing.
|
||||
Treat `operationGuidance` as optional additive advice. Read and consider every
|
||||
entry, and follow entries that are applicable and compatible with the built-in
|
||||
workflow.
|
||||
|
||||
Keep both fields separate from CLI-returned state, missing artifacts, tasks,
|
||||
progress, `contextFiles`, and the built-in `instruction`. They are not
|
||||
evidence of task completion, do not replace the built-in instruction, and do
|
||||
not permit bypassing a blocked state. If context conflicts with the built-in
|
||||
instruction, an explicit user choice, or a CLI-controlled value, report the
|
||||
conflict and preserve the controlling value. If guidance is inapplicable or
|
||||
conflicts with those controlling inputs, do not follow it and explain why.
|
||||
These are prompt-level behavior contracts, not enforceable checks.
|
||||
|
||||
4. **Read context files**
|
||||
|
||||
Read every file path listed under `contextFiles` from the apply instructions output.
|
||||
The files depend on the schema being used:
|
||||
- **spec-driven**: proposal, specs, design, tasks
|
||||
- Other schemas: follow the contextFiles from CLI output
|
||||
|
||||
Do not copy `context` or `operationGuidance` verbatim into implementation
|
||||
files or planning artifacts unless the user separately asks for that content.
|
||||
|
||||
5. **Show current progress**
|
||||
|
||||
Display:
|
||||
- Schema being used
|
||||
- Progress: "N/M tasks complete"
|
||||
- Remaining tasks overview
|
||||
- Dynamic instruction from CLI
|
||||
|
||||
6. **Implement tasks (loop until done or blocked)**
|
||||
|
||||
For each pending task:
|
||||
- Show which task is being worked on
|
||||
- Make the code changes required
|
||||
- Keep changes minimal and focused
|
||||
- Mark task complete in the tasks file: `- [ ]` → `- [x]`
|
||||
- Continue to next task
|
||||
|
||||
**Pause if:**
|
||||
- Task is unclear → ask for clarification
|
||||
- Implementation reveals a design issue → suggest updating artifacts
|
||||
- A task needs work beyond what the spec and tasks describe, or you are tempted to drop, narrow, defer, or accept exceptions to specified behavior to make it fit → surface the added scope and ask; do not absorb it silently
|
||||
- Error or blocker encountered → report and wait for guidance
|
||||
- User interrupts
|
||||
|
||||
7. **On completion or pause, show status**
|
||||
|
||||
Display:
|
||||
- Tasks completed this session
|
||||
- Overall progress: "N/M tasks complete"
|
||||
- If all done: suggest archive
|
||||
- If paused: explain why and wait for guidance
|
||||
|
||||
**Output During Implementation**
|
||||
|
||||
```
|
||||
## Implementing: <change-name> (schema: <schema-name>)
|
||||
|
||||
Working on task 3/7: <task description>
|
||||
[...implementation happening...]
|
||||
✓ Task complete
|
||||
|
||||
Working on task 4/7: <task description>
|
||||
[...implementation happening...]
|
||||
✓ Task complete
|
||||
```
|
||||
|
||||
**Output On Completion**
|
||||
|
||||
```
|
||||
## Implementation Complete
|
||||
|
||||
**Change:** <change-name>
|
||||
**Schema:** <schema-name>
|
||||
**Progress:** 7/7 tasks complete ✓
|
||||
|
||||
### Completed This Session
|
||||
- [x] Task 1
|
||||
- [x] Task 2
|
||||
...
|
||||
|
||||
All tasks complete! You can archive this change with `/openspec-archive-change`.
|
||||
```
|
||||
|
||||
**Output On Pause (Issue Encountered)**
|
||||
|
||||
```
|
||||
## Implementation Paused
|
||||
|
||||
**Change:** <change-name>
|
||||
**Schema:** <schema-name>
|
||||
**Progress:** 4/7 tasks complete
|
||||
|
||||
### Issue Encountered
|
||||
<description of the issue>
|
||||
|
||||
**Options:**
|
||||
1. <option 1>
|
||||
2. <option 2>
|
||||
3. Other approach
|
||||
|
||||
What would you like to do?
|
||||
```
|
||||
|
||||
**Guardrails**
|
||||
- Keep going through tasks until done or blocked
|
||||
- Always read context files before starting (from the apply instructions output)
|
||||
- If task is ambiguous, pause and ask before implementing
|
||||
- If implementation reveals issues, pause and suggest artifact updates
|
||||
- Keep code changes minimal and scoped to each task
|
||||
- Update task checkbox immediately after completing each task
|
||||
- Pause on errors, blockers, or unclear requirements - don't guess
|
||||
- When a task needs work beyond what the spec describes, surface the added scope and pause - never silently narrow, defer, or simplify away specified behavior
|
||||
- Only mark a task `- [x]` when its specified behavior is fully implemented, not when it is partially done or deferred
|
||||
- Use contextFiles from CLI output, don't assume specific file names
|
||||
- Do not use context or operation guidance as proof that a task is complete
|
||||
- Apply relevant project context; report conflicts with controlling workflow inputs
|
||||
- Consider every guidance entry; explain any inapplicable or conflicting advice
|
||||
- Do not copy runtime context or operation guidance into implementation files or planning artifacts
|
||||
- Preserve CLI-controlled blocked/ready/all-done behavior and completion criteria
|
||||
|
||||
**Fluid Workflow Integration**
|
||||
|
||||
This skill supports the "actions on a change" model:
|
||||
|
||||
- **Can be invoked anytime**: Before all artifacts are done (if tasks exist), after partial implementation, interleaved with other actions
|
||||
- **Allows artifact updates**: If implementation reveals design issues, suggest updating artifacts - not phase-locked, work fluidly
|
||||
@@ -0,0 +1,182 @@
|
||||
---
|
||||
name: openspec-archive-change
|
||||
description: Archive a completed change in the experimental workflow. Use when the user wants to finalize and archive a change after implementation is complete.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Archive a completed change in the experimental workflow.
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
`<capability-path>` is the spec directory relative to `specs/` (for example, `user-auth` or `identity/user-auth`). Preserve the full path from each delta spec when resolving its main spec.
|
||||
|
||||
**Input**: Optionally specify a change name. If omitted, check if it can be inferred from conversation context. If vague or ambiguous you MUST prompt for available changes.
|
||||
|
||||
**Steps**
|
||||
|
||||
1. **Select the change**
|
||||
|
||||
If a name is provided, use it. Otherwise:
|
||||
- Infer from conversation context if the user mentioned a change
|
||||
- Auto-select if only one active change exists
|
||||
- If ambiguous, run `openspec list --json` to get available changes and ask the user to select one
|
||||
|
||||
When prompting, show only active changes (not already archived).
|
||||
Include the schema used for each change if available.
|
||||
|
||||
Always announce: "Using change: <name>" and how to override (e.g., `/openspec-archive-change <other>`).
|
||||
|
||||
**Load current archive inputs before the existing archive checks:**
|
||||
|
||||
After resolving the selected change and planning root, run:
|
||||
```bash
|
||||
openspec instructions archive --change "<name>" --json
|
||||
```
|
||||
Keep the same selected-root flags on this command. This lookup is advisory and
|
||||
optional: it only supplies extra prompt inputs, so it must never block archiving.
|
||||
If it exits non-zero or returns invalid JSON — for example on an older CLI that
|
||||
does not support this command yet — continue the archive workflow with no
|
||||
context and no operation guidance. Do not report an error and do not stop.
|
||||
|
||||
A successful response may omit both optional fields. Treat `context` as a
|
||||
required prompt-level input: read and consider it, and apply relevant project
|
||||
facts, conventions, and constraints. Treat `operationGuidance` as optional
|
||||
additive advice: read and consider every entry, and follow entries that are
|
||||
applicable and compatible with the built-in archive workflow.
|
||||
|
||||
Keep both fields separate from built-in steps, explicit user choices, resolved
|
||||
paths, CLI checks, and command contracts. If context conflicts with one of those
|
||||
controlling inputs, report the conflict and preserve the controlling value. If
|
||||
guidance is inapplicable or conflicts with a controlling input, do not follow it
|
||||
and explain why. Do not infer replacement paths, skipped prompts, or flags from
|
||||
either field, and do not copy their text verbatim into specs, change artifacts,
|
||||
or archive summaries unless the user separately asks for it. These are
|
||||
prompt-level behavior contracts, not enforceable checks.
|
||||
|
||||
2. **Check artifact completion status**
|
||||
|
||||
Run `openspec status --change "<name>" --json` to check artifact completion.
|
||||
|
||||
Parse the JSON to understand:
|
||||
- `schemaName`: The workflow being used
|
||||
- `planningHome`, `changeRoot`, `artifactPaths`, and `actionContext`: path and scope context
|
||||
- `artifacts`: List of artifacts with their status (`done`, `skipped`, or other)
|
||||
|
||||
**If any artifacts are neither `done` nor `skipped`** (skipped artifacts satisfy the requirement - the change declares skip_specs):
|
||||
- Display warning listing incomplete artifacts
|
||||
- Ask the user to confirm they want to proceed
|
||||
- Proceed if user confirms
|
||||
|
||||
3. **Check task completion status**
|
||||
|
||||
Read the tasks file (typically `tasks.md`) to check for incomplete tasks.
|
||||
|
||||
Count tasks marked with `- [ ]` (incomplete) vs `- [x]` (complete).
|
||||
|
||||
**If incomplete tasks found:**
|
||||
- Display warning showing count of incomplete tasks
|
||||
- Ask the user to confirm they want to proceed
|
||||
- Proceed if user confirms
|
||||
|
||||
**If no tasks file exists:** Proceed without task-related warning.
|
||||
|
||||
4. **Assess delta spec sync state**
|
||||
|
||||
Use `artifactPaths.specs.existingOutputPaths` from status JSON as the only
|
||||
delta-spec source. If the `specs` entry is missing or
|
||||
`existingOutputPaths` is empty, proceed without a sync prompt and do not infer
|
||||
delta specs from other artifacts.
|
||||
|
||||
**If delta specs exist:**
|
||||
- Compare each delta spec with its corresponding main spec at `<planningHome.root>/openspec/specs/<capability-path>/spec.md` (use the store-aware `planningHome.root` from step 2, not a hardcoded repo path)
|
||||
- Determine what changes would be applied (adds, modifications, removals, renames)
|
||||
- Show a combined summary before prompting
|
||||
|
||||
**Prompt options:**
|
||||
- If changes needed: "Sync now (recommended)", "Archive without syncing"
|
||||
- If already synced: "Archive now", "Sync anyway", "Cancel"
|
||||
|
||||
Route on the answer:
|
||||
- "Cancel" — stop, do not archive
|
||||
- "Archive without syncing" or "Archive now" — proceed to archive
|
||||
- "Sync now" or "Sync anyway" — sync, then verify (below)
|
||||
- Anything else — ask again rather than archiving
|
||||
|
||||
Before a selected sync writes any main spec, run
|
||||
`openspec instructions specs --change "<name>" --json` once with the same
|
||||
selected-root flags. Require a zero exit status and valid artifact-instruction
|
||||
JSON. If the lookup fails or returns invalid JSON, report the error and stop
|
||||
before writing any main spec or moving the change. A valid response with omitted
|
||||
`rules` is the no-rules case. Apply returned `rules` only to the content and
|
||||
form of main specs produced by this merge; do not use them as archive guidance,
|
||||
change CLI behavior, or copy the rule text into any output file.
|
||||
|
||||
Then run the `openspec-sync-specs` workflow inline (agent-driven intelligent merge) for change '<name>', passing the delta spec analysis and the fetched specs-rule snapshot from above, and wait for it to finish. The inline sync must reuse that snapshot without fetching `specs` instructions again. Do not delegate it to a background task — step 5 would move `changeRoot` out from under a sync that is still reading it, leaving the change archived and the main specs never updated. If your agent can only run it by delegation, delegate synchronously and wait for the result.
|
||||
|
||||
Then re-run the comparison from the top of this step against every capability that has a delta spec in `artifactPaths.specs.existingOutputPaths` — not only the ones the sync reports it touched. A successful sync leaves nothing left to apply, so each capability must now read as already synced:
|
||||
- ADDED requirements present
|
||||
- MODIFIED requirements carrying the scenario and description changes named in the delta, with their other scenarios intact
|
||||
- REMOVED requirements gone — and where this sync retired a capability (removed its last requirement, leaving `## Requirements` empty), its main spec deleted rather than left empty; a spec the sync deliberately kept and reported is also a match
|
||||
- RENAMED requirements present under the new name and absent under the old one
|
||||
|
||||
If the sync failed, or any capability does not match, report what differs and stop — do not archive. Nothing has moved and `changeRoot` is intact, so the user can fix the mismatch or re-run the sync and start the archive again.
|
||||
|
||||
5. **Perform the archive**
|
||||
|
||||
Create an `archive` directory under `planningHome.changesDir` if it doesn't exist:
|
||||
```bash
|
||||
mkdir -p "<planningHome.changesDir>/archive"
|
||||
```
|
||||
|
||||
Generate the target name: use the change name as-is when it already starts with a `YYYY-MM-DD-` prefix; otherwise prepend the current date as `YYYY-MM-DD-<change-name>`. Never stack a second date (same rule as `openspec archive`).
|
||||
|
||||
**Check if target already exists:**
|
||||
- If yes: Fail with error, suggest renaming existing archive or using different date
|
||||
- If no: Move `changeRoot` to the archive directory
|
||||
|
||||
```bash
|
||||
mv "<changeRoot>" "<planningHome.changesDir>/archive/<target-name>"
|
||||
```
|
||||
|
||||
6. **Display summary**
|
||||
|
||||
Show archive completion summary including:
|
||||
- Change name
|
||||
- Schema that was used
|
||||
- Archive location
|
||||
- Whether specs were synced (if applicable)
|
||||
- Note about any warnings (incomplete artifacts/tasks)
|
||||
|
||||
**Output On Success**
|
||||
|
||||
```markdown
|
||||
## Archive Complete
|
||||
|
||||
**Change:** <change-name>
|
||||
**Schema:** <schema-name>
|
||||
**Archived to:** the archive path derived from `planningHome.changesDir`/<target-name>/
|
||||
**Specs:** <"✓ Synced to main specs" only if the step 4 verification passed; otherwise "No delta specs" or "Sync skipped">
|
||||
|
||||
<"All artifacts complete. All tasks complete." — or, if archived with warnings, list them instead (e.g. "Archived with 2 incomplete tasks")>
|
||||
```
|
||||
|
||||
**Guardrails**
|
||||
- Announce the selected change; prompt for selection when it is ambiguous
|
||||
- Use artifact graph (openspec status --json) for completion checking
|
||||
- Don't block archive on warnings - just inform and confirm
|
||||
- Preserve .openspec.yaml when moving to archive (it moves with the directory)
|
||||
- Show clear summary of what happened
|
||||
- If sync is requested, run the `openspec-sync-specs` workflow inline (agent-driven)
|
||||
- Never archive while a spec sync is still in flight — run the sync inline and verify the main specs before moving `changeRoot`
|
||||
- If delta specs exist, always run the sync assessment and show the combined summary before prompting
|
||||
- Apply relevant runtime context and report conflicts; operation guidance remains advisory
|
||||
- Consider every guidance entry and explain any inapplicable or conflicting advice
|
||||
- Existing CLI checks, resolved paths, prompts, and command contracts are unchanged
|
||||
- Artifact rules constrain only the specs being written and are never operation guidance
|
||||
- Never copy runtime context, operation guidance, or artifact-rule text verbatim into output files
|
||||
@@ -0,0 +1,335 @@
|
||||
---
|
||||
name: openspec-explore
|
||||
description: Enter explore mode - a thinking partner for exploring ideas, investigating problems, and clarifying requirements. Use when the user wants to think through something before or during a change.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Enter explore mode. Think deeply. Visualize freely. Follow the conversation wherever it goes.
|
||||
|
||||
**IMPORTANT: Explore mode is for thinking, not implementing.** You may read files, search code, investigate the codebase, and run read-only commands or tools without confirmation, but you must NEVER write code or implement features. If the user asks you to implement something, remind them to exit explore mode first and create a change proposal. You MAY create or update OpenSpec change artifacts (proposals, designs, specs) within a confirmed scope—that's capturing thinking, not implementing. Answering design or clarifying questions is never consent to write. Before the first write-capable action, name the artifacts or files you would change and what you would do, ask a direct yes/no question, and wait for the user's confirmation in a separate message. Confirmation covers only the scope you described; ask again before expanding it. For a new change, scaffold it first as described below.
|
||||
|
||||
**This is a stance, not a workflow.** There are no fixed steps, no required sequence, no mandatory outputs. You're a thinking partner helping the user explore.
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
---
|
||||
|
||||
## The Stance
|
||||
|
||||
- **Curious, not prescriptive** - Ask questions that emerge naturally, don't follow a script
|
||||
- **Open threads, not interrogations** - Surface multiple interesting directions and let the user follow what resonates. Don't funnel them through a single path of questions.
|
||||
- **Visual** - Use ASCII diagrams liberally when they'd help clarify thinking
|
||||
- **Adaptive** - Follow interesting threads, pivot when new information emerges
|
||||
- **Patient** - Don't rush to conclusions, let the shape of the problem emerge
|
||||
- **Grounded** - Explore the actual codebase when relevant, don't just theorize
|
||||
|
||||
---
|
||||
|
||||
## Planning a Change
|
||||
|
||||
When the user is planning a change, guide them toward shared understanding with focused discovery questions. For open-ended discussion, follow the conversation without imposing an interview or a required output.
|
||||
|
||||
Before asking a factual question, follow the context discovery below and inspect relevant OpenSpec artifacts, source, tests, docs, and configuration. Do not ask the user to repeat facts you can verify. Summarize relevant findings without reproducing private context or rules. If evidence is missing, conflicting, or inaccessible, state that limitation and ask only for the clarification needed to proceed.
|
||||
|
||||
- **Follow dependencies** - Resolve the next blocking decision before its dependent details. For example, clarify the user's outcome and scope before choosing an API or data model. Revisit downstream assumptions when an earlier answer changes. Skip branches that do not matter to this goal.
|
||||
- **Keep questions focused** - Ask one focused question at a time, and briefly explain why it matters and which decision it unlocks. Batch questions only if the user asks for a batch; keep them small and group related decisions.
|
||||
- **Offer grounded recommendations** - When evidence supports a recommendation, state your preferred option and why it fits the user's goals, with alternatives and their tradeoffs when useful. Do not invent intent, priorities, or external constraints: ask the user when only they can answer. Avoid a fixed question format.
|
||||
- **Keep a conversational record** - Track decisions in the conversation, not in files. Separate confirmed decisions from proposed defaults and unresolved questions. Silence is not acceptance. Accepting an answer or a batch of recommendations is not permission to write. Keep file-write confirmation separate from discovery questions and follow the guardrails below.
|
||||
|
||||
Stop asking when the user has enough clarity. Let them pause, pivot, or defer a decision; do not exhaust every branch or force a proposal.
|
||||
|
||||
For example, after inspecting the relevant code:
|
||||
|
||||
```text
|
||||
The CLI already uses SQLite and has no remote service. Is sharing state
|
||||
across devices in scope? That determines whether local storage is enough.
|
||||
If this stays a single-device tool, I recommend keeping SQLite to avoid
|
||||
adding a service to operate; shared state would need a separate sync design.
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## What You Might Do
|
||||
|
||||
Depending on what the user brings, you might:
|
||||
|
||||
**Explore the problem space**
|
||||
- Ask clarifying questions that emerge from what they said
|
||||
- Challenge assumptions
|
||||
- Reframe the problem
|
||||
- Find analogies
|
||||
|
||||
**Investigate the codebase**
|
||||
- Map existing architecture relevant to the discussion
|
||||
- Find integration points
|
||||
- Identify patterns already in use
|
||||
- Surface hidden complexity
|
||||
|
||||
**Compare options**
|
||||
- Brainstorm multiple approaches
|
||||
- Build comparison tables
|
||||
- Sketch tradeoffs
|
||||
- Recommend a path (if asked)
|
||||
|
||||
**Visualize**
|
||||
```
|
||||
+------------------------------------------+
|
||||
| Use ASCII diagrams liberally |
|
||||
+------------------------------------------+
|
||||
| |
|
||||
| [State A] -------> [State B] |
|
||||
| | |
|
||||
| v |
|
||||
| [State C] |
|
||||
| |
|
||||
| System diagrams, state machines, |
|
||||
| data flows, architecture sketches, |
|
||||
| dependency graphs, comparison tables |
|
||||
| |
|
||||
+------------------------------------------+
|
||||
```
|
||||
|
||||
**Draw with plain ASCII only** — borders `+` `-` `|`, arrows `-->` `<--` `^` `v`, markers `*` `x`.
|
||||
Unicode diagram glyphs can render at different widths across terminals, fonts, and locales, so padded boxes and aligned tables can drift. Keep every diagram character ASCII.
|
||||
|
||||
**Surface risks and unknowns**
|
||||
- Identify what could go wrong
|
||||
- Find gaps in understanding
|
||||
- Suggest spikes or investigations
|
||||
|
||||
---
|
||||
|
||||
## OpenSpec Awareness
|
||||
|
||||
You have full context of the OpenSpec system. Use it naturally, don't force it.
|
||||
|
||||
### Check for context
|
||||
|
||||
At the start, quickly check what exists:
|
||||
```bash
|
||||
openspec list --json
|
||||
```
|
||||
|
||||
This tells you:
|
||||
- If there are active changes
|
||||
- Their names, schemas, and status
|
||||
- What the user might be working on
|
||||
|
||||
Then read the project's own context from the resolved root - `<root.path>/openspec/config.yaml` (or `config.yml`). Use the `root.path` returned above, and skip this if neither file exists:
|
||||
- `context`: project background - tech stack, conventions, constraints
|
||||
- `rules`: keyed by artifact id - the entries for an artifact apply only when you write that artifact
|
||||
|
||||
Ground your thinking in these. They are constraints for you to follow, not content to reproduce: do NOT copy them into the conversation or into any artifact you create.
|
||||
|
||||
### When no change exists
|
||||
|
||||
Think freely. When insights crystallize, you might offer:
|
||||
|
||||
- "This feels solid enough to start a change. Want me to create a proposal?"
|
||||
- Or keep exploring - no pressure to formalize
|
||||
|
||||
If the user asks you to capture the exploration as a new change, transition seamlessly into the requested capture:
|
||||
|
||||
1. Run `openspec new change "<name>"` (with `--store <id>` when applicable) before creating any artifacts. Never create a new change directory under `openspec/changes/` by hand; the CLI scaffold creates required metadata such as `.openspec.yaml`. Keep the selected `--store <id>` on every applicable follow-up `status` and `instructions` command.
|
||||
2. Run `openspec status --change "<name>" --json` (append the confirmed `--store "<id>"` only for a registered standalone store), then process the requested artifacts in dependency order. For each requested artifact that is `ready`, run `openspec instructions "<artifact-id>" --change "<name>" --json` (append the confirmed `--store "<id>"` only for a registered standalone store). Before creating a requested artifact, evaluate any condition in its own `instruction` against the explored change; record a deliberate skip instead when the condition does not apply. If a requested artifact is blocked by a direct prerequisite the user did not request, run `openspec instructions "<prerequisite-id>" --change "<name>" --json` (append the confirmed `--store "<id>"` only for a registered standalone store) for that prerequisite whether it is `ready` or `blocked`. If its own `instruction` states a condition, evaluate that condition against the explored change and record a deliberate skip only when the condition does not apply. If the condition applies, or the prerequisite is not conditional, treat it as a normal prerequisite and ask before expanding the capture. Do not create an unrequested prerequisite unless the user approves.
|
||||
3. Follow the returned `template` and `instruction` fields. Read completed dependency files listed in `dependencies`, and apply `context` and `rules` as constraints without copying them into the artifact. If the instruction delegates creation to a specific skill or command, invoke it; otherwise write the artifact to `resolvedOutputPath`, using the instruction to choose a concrete path when it is a glob. Verify that the selected concrete output exists.
|
||||
4. After creating each artifact, re-run `openspec status --change "<name>" --json` (append the confirmed `--store "<id>"` only for a registered standalone store) and continue until every requested artifact is `done`, `skipped`, or was deliberately skipped because its own `instruction` stated a condition that did not apply. Tell the user about a deliberate conditional skip, remember it, and do not reconsider it. Dependencies are enablers, not gates: if a requested artifact is still `blocked` only because you deliberately skipped a conditional prerequisite, run `openspec instructions "<artifact-id>" --change "<name>" --json` (append the confirmed `--store "<id>"` only for a registered standalone store) despite the blocked status, then create it using step 3 only when those recorded conditional skips are its sole missing dependencies. If a requested artifact is blocked by a prerequisite the user did not ask to capture and cannot be conditionally skipped, explain that dependency and ask before expanding the capture.
|
||||
|
||||
Capture the artifact(s) the user requested without asking them to invoke another workflow command. If they asked only to start a change, stop after scaffolding and show its status.
|
||||
|
||||
### When a change exists
|
||||
|
||||
If the user mentions a change or you detect one is relevant:
|
||||
|
||||
1. **Resolve and read existing artifacts for context**
|
||||
- Run `openspec status --change "<name>" --json`.
|
||||
- Use `changeRoot`, `artifactPaths`, and `actionContext` from the status JSON.
|
||||
- Read existing files from `artifactPaths.<artifact>.existingOutputPaths`.
|
||||
|
||||
2. **Reference them naturally in conversation**
|
||||
- "Your design mentions using Redis, but we just realized SQLite fits better..."
|
||||
- "The proposal scopes this to premium users, but we're now thinking everyone..."
|
||||
|
||||
3. **Offer to capture when decisions are made**
|
||||
|
||||
`<capability-path>` is the spec directory relative to `specs/` (for example, `user-auth` or `identity/user-auth`). Preserve an existing capability's full path and follow the project's established organization for new capabilities.
|
||||
|
||||
| Insight Type | Where to Capture |
|
||||
|----------------------------|-------------------------------------|
|
||||
| New requirement discovered | `specs/<capability-path>/spec.md` |
|
||||
| Requirement changed | `specs/<capability-path>/spec.md` |
|
||||
| Design decision made | `design.md` |
|
||||
| Scope changed | `proposal.md` |
|
||||
| New work identified | `tasks.md` |
|
||||
| Assumption invalidated | Relevant artifact |
|
||||
|
||||
Example offers:
|
||||
- "That's a design decision. Capture it in design.md?"
|
||||
- "This is a new requirement. Add it to specs?"
|
||||
- "This changes scope. Update the proposal?"
|
||||
|
||||
4. **The user decides** - Offer and move on. Don't pressure. Don't auto-capture.
|
||||
|
||||
---
|
||||
|
||||
## What You Don't Have To Do
|
||||
|
||||
- Follow a script
|
||||
- Ask the same questions every time
|
||||
- Produce a specific artifact
|
||||
- Reach a conclusion
|
||||
- Stay on topic if a tangent is valuable
|
||||
- Be brief (this is thinking time)
|
||||
|
||||
---
|
||||
|
||||
## Handling Different Entry Points
|
||||
|
||||
**User brings a vague idea:**
|
||||
```
|
||||
User: I'm thinking about adding real-time collaboration
|
||||
|
||||
You: Real-time collab is a big space. Let me think about this...
|
||||
|
||||
COLLABORATION SPECTRUM
|
||||
============================================
|
||||
|
||||
Awareness Coordination Sync
|
||||
| | |
|
||||
v v v
|
||||
+--------+ +--------+ +--------+
|
||||
|Presence| |Cursors | | CRDT |
|
||||
| "3 | | Multi | |Conflict|
|
||||
|online" | | select | | free |
|
||||
+--------+ +--------+ +--------+
|
||||
| | |
|
||||
trivial moderate complex
|
||||
|
||||
Where's your head at?
|
||||
```
|
||||
|
||||
**User brings a specific problem:**
|
||||
```
|
||||
User: The auth system is a mess
|
||||
|
||||
You: [reads codebase]
|
||||
|
||||
+---------------------------------------------+
|
||||
| CURRENT AUTH FLOW |
|
||||
+---------------------------------------------+
|
||||
|
|
||||
+-------------+-------------+
|
||||
v v v
|
||||
+---------+ +---------+ +---------+
|
||||
| Google | | GitHub | | Email |
|
||||
| OAuth | | OAuth | | Magic |
|
||||
+----+----+ +----+----+ +----+----+
|
||||
| | |
|
||||
+-------------+-------------+
|
||||
v
|
||||
+-----------+
|
||||
| Session |
|
||||
+-----+-----+
|
||||
|
|
||||
v
|
||||
+-----------+
|
||||
| Perms |
|
||||
+-----------+
|
||||
|
||||
I see three tangles. Which one's burning?
|
||||
```
|
||||
|
||||
**User is stuck mid-implementation:**
|
||||
```
|
||||
User: /openspec-explore add-auth-system
|
||||
The OAuth integration is more complex than expected
|
||||
|
||||
You: [reads change artifacts]
|
||||
|
||||
You're on task 4: "Implement OAuth flow"
|
||||
|
||||
Let me trace what's involved...
|
||||
|
||||
[draws diagram, explores options, suggests paths]
|
||||
|
||||
Want to update the design to reflect this?
|
||||
Or add a spike task to investigate?
|
||||
```
|
||||
|
||||
**User wants to compare options:**
|
||||
```
|
||||
User: Should we use Postgres or SQLite?
|
||||
|
||||
You: Generic answer is boring. What's the context?
|
||||
|
||||
User: A CLI tool that tracks local dev environments
|
||||
|
||||
You: That changes everything.
|
||||
|
||||
+-------------------------------------------------+
|
||||
| CLI TOOL DATA STORAGE |
|
||||
+-------------------------------------------------+
|
||||
|
||||
Key constraints:
|
||||
- No daemon running
|
||||
- Must work offline
|
||||
- Single user
|
||||
|
||||
SQLite Postgres
|
||||
Deployment embedded needs server
|
||||
Offline yes no
|
||||
Single file yes no
|
||||
|
||||
SQLite. Not even close.
|
||||
|
||||
Unless... is there a sync component?
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Ending Discovery
|
||||
|
||||
There's no required ending. Discovery might:
|
||||
|
||||
- **Flow into a proposal**: "Ready to start? I can create a change proposal."
|
||||
- **Result in artifact updates**: "Updated design.md with these decisions"
|
||||
- **Just provide clarity**: User has what they need, moves on
|
||||
- **Continue later**: "We can pick this up anytime"
|
||||
|
||||
When it feels like things are crystallizing, you might summarize:
|
||||
|
||||
```
|
||||
## What We Figured Out
|
||||
|
||||
**The problem**: [crystallized understanding]
|
||||
|
||||
**The approach**: [if one emerged]
|
||||
|
||||
**Open questions**: [if any remain]
|
||||
|
||||
**Next steps** (if ready):
|
||||
- Create a change proposal
|
||||
- Keep exploring: just keep talking
|
||||
```
|
||||
|
||||
But this summary is optional. Sometimes the thinking IS the value.
|
||||
|
||||
---
|
||||
|
||||
## Guardrails
|
||||
|
||||
- **Don't implement** - Never write code or implement features. Workflow configuration counts too: creating or editing schemas, templates, or `openspec/config.yaml` is a change, not thinking. Creating or updating OpenSpec change artifacts within the confirmed scope is fine, writing anything else is not.
|
||||
- **Don't fake understanding** - If something is unclear, dig deeper
|
||||
- **Don't rush** - Discovery is thinking time, not task time
|
||||
- **Don't force structure** - Let patterns emerge naturally
|
||||
- **Don't auto-capture** - Offer to save insights, don't just do it. Read-only commands and tools need no confirmation. Before the first write-capable action—including `openspec new change` or another command that writes files—name the artifacts or files and proposed changes, ask a direct yes/no question, and wait for explicit confirmation in a separate user message. That confirmation covers only the described scope; ask again before expanding it. Answers to design or clarifying questions are never consent to write.
|
||||
- **Don't manually scaffold changes** - Never create a new change directory under `openspec/changes/` by hand. Always use `openspec new change "<name>"` (with `--store <id>` when applicable) so required metadata such as `.openspec.yaml` is created before writing artifacts.
|
||||
- **Do visualize** - A good diagram is worth many paragraphs
|
||||
- **Do explore the codebase** - Ground discussions in reality
|
||||
- **Do question assumptions** - Including the user's and your own
|
||||
@@ -0,0 +1,153 @@
|
||||
---
|
||||
name: openspec-propose
|
||||
description: Propose a new change with all artifacts generated in one step. Use when the user wants to quickly describe what they want to build and get a complete proposal with design, specs, and tasks ready for implementation.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Propose a new change - create the change and generate all artifacts in one step.
|
||||
|
||||
**Planning boundary**: This workflow creates planning artifacts only. The user request that selected or triggered this workflow authorizes planning only, even if it asks to build or fix something. Do not edit project code. After the planning artifacts are complete, stop. Do not start implementation in the same response, even if the initial request asks for it. Wait for a new user request after the artifacts are presented; then start the apply workflow.
|
||||
|
||||
I'll create a change with the artifacts your schema defines. With the default spec-driven schema that is:
|
||||
- proposal.md (what & why)
|
||||
- `specs/<capability-path>/spec.md` (what the system must do - a delta, not the main spec)
|
||||
- design.md (how)
|
||||
- tasks.md (implementation steps)
|
||||
|
||||
`<capability-path>` is the spec directory relative to `specs/` (for example, `user-auth` or `identity/user-auth`). Preserve an existing capability's full path and follow the project's established organization for new capabilities.
|
||||
|
||||
When the user is ready to implement, they must start the apply workflow explicitly.
|
||||
|
||||
---
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
**Input**: The user's request should include a change name (kebab-case) OR a description of what they want to build.
|
||||
|
||||
**Steps**
|
||||
|
||||
1. **Understand the request and clarify material ambiguity**
|
||||
|
||||
If no clear input is provided, ask the user (open-ended, no preset options):
|
||||
> "What change do you want to work on? Describe what you want to build or fix."
|
||||
|
||||
From their description, derive a kebab-case name (e.g., "add user authentication" → `add-user-auth`).
|
||||
|
||||
**IMPORTANT**: Do NOT proceed without understanding what the user wants to build.
|
||||
|
||||
If the request contains ambiguity that would materially affect scope, externally observable behavior, compatibility, or acceptance criteria, ask the user before creating the change. For minor details, make a reasonable assumption and record it in the planning artifacts.
|
||||
|
||||
2. **Determine the workflow schema**
|
||||
|
||||
Use the configured default schema unless the user explicitly requests a different workflow.
|
||||
|
||||
**Use a different schema only if the user:**
|
||||
- Explicitly requests a specific schema by name → use `--schema <schema-name>`
|
||||
- Asks to "show workflows" or asks "what workflows" exist → resolve the authoritative root by running `openspec context --json` from the current working directory. If the user explicitly selected a registered store, use `openspec context --json --store "<store-id>"`. Then run `openspec schemas --json` with its working directory set to the returned `root.path` and let them choose. This preserves roots selected by a local `store:` pointer or the global `defaultStore`; when a registered store was explicitly selected, append `--store "<store-id>"` to `openspec schemas --json` as well. If context reports only `no_openspec_root`, run `openspec schemas --json` from the current working directory instead. Do not use this fallback for invalid or unavailable stores.
|
||||
|
||||
Otherwise, omit `--schema` to preserve the configured default.
|
||||
|
||||
3. **Create the change directory**
|
||||
|
||||
Choose one schema form below. If a registered store is selected, append `--store "<store-id>"` to that command and each later OpenSpec command shown below that accepts `--store`.
|
||||
|
||||
Using the configured default:
|
||||
```bash
|
||||
openspec new change "<name>"
|
||||
```
|
||||
|
||||
Using an explicitly requested schema:
|
||||
```bash
|
||||
openspec new change "<name>" --schema "<schema-name>"
|
||||
```
|
||||
This creates a scaffolded change in the planning home resolved by the CLI with `.openspec.yaml`.
|
||||
|
||||
4. **Get the artifact build order**
|
||||
```bash
|
||||
openspec status --change "<name>" --json
|
||||
```
|
||||
Parse the JSON to get:
|
||||
- `applyRequires`: array of artifact IDs needed before implementation (e.g., `["tasks"]`)
|
||||
- `artifacts`: list of all artifacts, each with its `status` and its `requires` edges (the artifact IDs it directly depends on)
|
||||
- `planningHome`, `changeRoot`, `artifactPaths`, and `actionContext`: path and scope context. Use these instead of assuming repo-local paths.
|
||||
|
||||
5. **Create every artifact in the required set**
|
||||
|
||||
Use a todo list to track progress through the artifacts.
|
||||
|
||||
Loop through artifacts in dependency order (artifacts with no pending dependencies first):
|
||||
|
||||
a. **For each artifact that is `ready` (dependencies satisfied)**:
|
||||
- Get instructions:
|
||||
```bash
|
||||
openspec instructions <artifact-id> --change "<name>" --json
|
||||
```
|
||||
- The instructions JSON includes:
|
||||
- `context`: Project background (constraints for you - do NOT include in output)
|
||||
- `rules`: Artifact-specific rules (constraints for you - do NOT include in output)
|
||||
- `template`: The structure to use for your output file
|
||||
- `instruction`: Schema-specific guidance for this artifact type
|
||||
- `skipped`/`warning`: present when the change declares skip_specs and this artifact must NOT be created - stop and pick another artifact
|
||||
- `resolvedOutputPath`: Resolved path or pattern to write the artifact
|
||||
- `dependencies`: Completed artifacts to read for context
|
||||
- Read any completed dependency files for context - always re-read them from disk, even if you saw them earlier in the conversation (the user may have edited them)
|
||||
- **Inspect the relevant project before drafting**: Read `context` and `rules` first, then inspect relevant implementation, nearby tests, configuration, and documentation outside `openspec/`. Keep inspection read-only and proportional to the change; reuse findings for later artifacts and inspect more only as needed.
|
||||
- Identify the target project from the request and project context; the planning home may be separate from the code. If the target is unclear, ask. For greenfield or non-code changes, inspect the available structure and relevant documents. If source is unavailable, state the limitation and ask when it materially affects the plan.
|
||||
- Ground scope, approach, and tasks in what you find. Distinguish observed behavior from assumptions and proposed additions; surface conflicts with existing specs instead of silently deciding which is correct.
|
||||
- Do this discovery now, rather than leaving generic "explore the codebase" or "make a plan" tasks for implementation. Keep any necessary follow-up investigation specific to an unresolved question.
|
||||
- If the `instruction` field delegates creation to a specific skill or command, invoke it to produce the artifact instead of writing the file yourself, then verify the artifact file exists at `resolvedOutputPath`
|
||||
- Otherwise create the artifact file using `template` as the structure and write it to `resolvedOutputPath`. If `resolvedOutputPath` is a glob, follow `instruction` to choose the concrete file path
|
||||
- Apply `context` and `rules` as constraints - but do NOT copy them into the file
|
||||
- Show brief progress: "Created <artifact-id>"
|
||||
|
||||
b. **Continue until every artifact in the required set exists (not just `apply.requires`)**
|
||||
- After creating each artifact, re-run `openspec status --change "<name>" --json`
|
||||
- The required set is `applyRequires` plus every artifact reachable from those by following the `requires` edges in `status --json` - walk them transitively (spec-driven closes over proposal, specs, design, tasks). Leave artifacts outside that set alone
|
||||
- `status` is file-existence only, so an `applyRequires` artifact reading `done` does NOT mean its dependencies exist - writing `tasks.md` early marks `tasks` done while `specs` was never written. Use each artifact's `requires` edges, not its `status`, to build the required set: a `done` artifact still lists what it depends on
|
||||
- An artifact already reading `status: "skipped"` is satisfied: the change declares `skip_specs` in `.openspec.yaml`, so its files must NOT exist. Never try to create one
|
||||
- Create every artifact in the required set that is missing, then re-check - creating one can unblock others
|
||||
- Skip one only when `status` already reports it `skipped`, or when its own `instruction` says it is conditional: run `openspec instructions <artifact-id> --change "<name>" --json` and skip only if its `instruction` field marks it optional (e.g. "create only if..."). Spec-driven's `design.md` qualifies; `specs` qualifies only via the `skipped` status above, never by your own judgment. Tell the user, and do not reconsider it
|
||||
- Dependencies are enablers, not gates: if a required artifact is still `blocked` only because you skipped a conditional dependency, write it anyway
|
||||
- Stop when every artifact in the required set is `done`, `skipped`, or was deliberately skipped
|
||||
|
||||
c. **If an artifact requires user input** (unclear context):
|
||||
- Ask the user to clarify
|
||||
- Then continue with creation
|
||||
|
||||
6. **Show final status**
|
||||
```bash
|
||||
openspec status --change "<name>"
|
||||
```
|
||||
|
||||
**Output**
|
||||
|
||||
After completing all artifacts, summarize:
|
||||
- Change name and location
|
||||
- List of artifacts created with brief descriptions, plus any conditional artifact you skipped and why
|
||||
- What's ready: "All artifacts needed for implementation are ready."
|
||||
- Prompt: "The artifacts are ready for review. When you are ready, run `/openspec-apply-change` or ask me to apply this change."
|
||||
|
||||
**Artifact Creation Guidelines**
|
||||
|
||||
- Follow the `instruction` field from `openspec instructions` for each artifact type - it is the authoritative guidance, even for familiar artifact names
|
||||
- If the `instruction` field directs you to use a specific skill or command to create the artifact, invoke it instead of writing the artifact directly
|
||||
- The schema defines what each artifact should contain - follow it
|
||||
- Read dependency artifacts for context before creating new ones
|
||||
- Use `template` as the structure for your output file - fill in its sections
|
||||
- **IMPORTANT**: `context` and `rules` are constraints for YOU, not content for the file
|
||||
- Do NOT copy `<context>`, `<rules>`, `<project_context>` blocks into the artifact
|
||||
- These guide what you write, but should never appear in the output
|
||||
|
||||
**Guardrails**
|
||||
- The request that invoked this workflow authorizes planning only. Any implementation or apply instruction in that request does not carry forward. Do NOT implement the change, start the apply workflow, or edit project code during this workflow. After presenting the artifacts, stop and wait for a new user request to start the apply workflow
|
||||
- Create every artifact the apply phase transitively depends on, not just the ids listed in `apply.requires`
|
||||
- Always read dependency artifacts before creating a new one - re-read from disk, not from conversation memory (files may have changed since you last saw them)
|
||||
- Ask about ambiguities that would materially change scope, externally observable behavior, compatibility, or acceptance criteria; for minor details, make reasonable assumptions and record them
|
||||
- If a change with that name already exists, ask if user wants to continue it or create a new one
|
||||
- Verify each artifact file exists after writing before proceeding to next
|
||||
@@ -0,0 +1,262 @@
|
||||
---
|
||||
name: openspec-sync-specs
|
||||
description: Sync delta specs from a change to main specs. Use when the user wants to update main specs with changes from a delta spec, without archiving the change.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Sync delta specs from a change to main specs.
|
||||
|
||||
This is an **agent-driven** operation - you will read delta specs and directly edit main specs to apply the changes. This allows intelligent merging (e.g., adding a scenario without copying the entire requirement).
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
`<capability-path>` is the spec directory relative to `specs/` (for example, `user-auth` or `identity/user-auth`). Preserve the full path from each delta spec when resolving its main spec.
|
||||
|
||||
**Input**: Optionally specify a change name. If omitted, check if it can be inferred from conversation context. If vague or ambiguous you MUST prompt for available changes.
|
||||
|
||||
**Steps**
|
||||
|
||||
1. **Select the change**
|
||||
|
||||
If a name is provided, use it. Otherwise:
|
||||
- Infer from conversation context if the user mentioned a change
|
||||
- Auto-select if only one active change exists
|
||||
- If ambiguous, run `openspec list --json` to get available changes and ask the user to select one
|
||||
|
||||
When prompting, show changes that have delta specs (under `specs/` directory).
|
||||
|
||||
Always announce: "Using change: <name>" and how to override (e.g., `/openspec-sync-specs <other>`).
|
||||
|
||||
2. **Resolve change context**
|
||||
|
||||
Run:
|
||||
```bash
|
||||
openspec status --change "<name>" --json
|
||||
```
|
||||
|
||||
The JSON includes `planningHome.root`. Main specs live under `<planningHome.root>/openspec/specs/` — use that (store-aware) root for every main-spec path below, not a hardcoded repo path. When a store is selected it points at the store, not the current repository.
|
||||
|
||||
3. **Find delta specs**
|
||||
|
||||
Use `artifactPaths.specs.existingOutputPaths` from the status JSON as the
|
||||
only source of delta spec paths. If the `specs` entry is missing or
|
||||
`existingOutputPaths` is empty, report that there are no delta specs to sync,
|
||||
do not infer them from other artifacts, and stop without requesting artifact
|
||||
instructions or writing a main spec.
|
||||
|
||||
Sync every path in `existingOutputPaths` unless the caller narrowed the set.
|
||||
A caller narrows it by naming an explicit list of complete entries from
|
||||
`existingOutputPaths` — copy those absolute values verbatim. Archive does
|
||||
this inline, and a user can too (for example, by selecting the entry ending
|
||||
in `/specs/billing/invoices/spec.md`).
|
||||
Then sync only the named paths and leave the remaining delta specs untouched:
|
||||
bulk archive excludes a delta whose implementation it could not find, and
|
||||
syncing it anyway would write a main spec the caller deliberately withheld.
|
||||
Carry that narrowed selection through step 4; never widen it back to the full
|
||||
list. If a named path is not in `existingOutputPaths`, do not sync it —
|
||||
report it and stop, rather than dropping it silently. If the named list is
|
||||
empty, report that there is nothing to sync and stop without writing a main
|
||||
spec.
|
||||
|
||||
Each delta spec file contains sections like:
|
||||
- `## ADDED Requirements` - New requirements to add
|
||||
- `## MODIFIED Requirements` - Changes to existing requirements
|
||||
- `## REMOVED Requirements` - Requirements to remove
|
||||
- `## RENAMED Requirements` - Requirements to rename (FROM:/TO: format)
|
||||
|
||||
If no delta specs found, inform user and stop.
|
||||
|
||||
4. **For each delta spec, apply changes to main specs**
|
||||
|
||||
Before the first main-spec write, obtain one current specs-rule snapshot:
|
||||
- If archive invoked this workflow inline and supplied a valid snapshot from
|
||||
`openspec instructions specs --change "<name>" --json`, reuse it and do not
|
||||
fetch the same instructions again.
|
||||
- Otherwise run that command once now with the same selected-root flags.
|
||||
- If the direct lookup exits non-zero or returns invalid artifact-instruction
|
||||
JSON, report the error and stop before writing any main spec. Do not treat the
|
||||
failure as an absent rule set.
|
||||
- A valid response with omitted `rules` means no artifact rules are configured
|
||||
and the existing semantic merge continues.
|
||||
|
||||
Apply returned `rules` only to the content and form of the main specs produced
|
||||
by this merge. Artifact rules are not operation guidance and cannot change
|
||||
selected roots, delta paths, CLI checks, or workflow steps. Use their text as
|
||||
constraints without copying it verbatim into a main spec or summary.
|
||||
|
||||
For each capability delta spec path selected in step 3 — the full `existingOutputPaths` list, or the narrowed subset when a caller supplied one (these may belong to a selected store, not the repo):
|
||||
|
||||
a. **Read the delta spec** to understand the intended changes
|
||||
|
||||
b. **Read the main spec** at `<planningHome.root>/openspec/specs/<capability-path>/spec.md` (may not exist yet)
|
||||
|
||||
c. **Apply changes intelligently**:
|
||||
|
||||
**ADDED Requirements:**
|
||||
- If requirement doesn't exist in main spec → add it
|
||||
- If requirement already exists → update it to match (treat as implicit MODIFIED)
|
||||
|
||||
**MODIFIED Requirements:**
|
||||
- Find the requirement in main spec
|
||||
- Apply the changes - this can be:
|
||||
- Adding new scenarios the main spec does not have yet
|
||||
- Modifying existing scenarios
|
||||
- Changing the requirement description
|
||||
- Preserve scenarios/content not mentioned in the delta
|
||||
|
||||
**REMOVED Requirements:**
|
||||
- Remove the entire requirement block from main spec
|
||||
- Retiring the capability. Delete the whole `spec.md` - and the directory once
|
||||
nothing else is left in it - only when ALL of these hold:
|
||||
1. removing the requirements *this run* left no requirement blocks;
|
||||
2. the rest of the spec is well-formed (it still has a `## Purpose`);
|
||||
3. the main spec was not already empty before this sync - if you removed
|
||||
nothing, change nothing;
|
||||
4. every other nonblank line in the whole file is accounted for as the
|
||||
title, Purpose, Requirements header, or a canonical requirement's
|
||||
statement, scenarios, or fenced examples;
|
||||
5. the change's `.openspec.yaml` declares `retire_capabilities: true`;
|
||||
6. the `spec.md` resolves inside the real specs root (do not follow a
|
||||
capability-directory symlink to delete an external file).
|
||||
If removing the selected requirements would leave no requirement blocks and
|
||||
any retirement condition is not satisfied, do not modify the main spec. Stop
|
||||
the sync for that capability, report the blocking condition, and tell the user
|
||||
how to resolve it. Never write or leave an empty `## Requirements` section.
|
||||
When only the marker is missing, say that too - it is the one thing the user
|
||||
can add to make the retirement go through.
|
||||
- Deleting the file also deletes its `## Purpose`; any other section blocks
|
||||
retirement. Name Purpose when you report the retirement. Include a pasteable
|
||||
`git checkout` only when the spec lived in the caller's checkout;
|
||||
otherwise give checkout-scoped recovery guidance.
|
||||
|
||||
**RENAMED Requirements:**
|
||||
- Find the FROM requirement, rename to TO
|
||||
|
||||
**`## Purpose` in the delta:**
|
||||
- The main spec already has one and it is authoritative - leave it alone
|
||||
(this is what `openspec archive` does; it warns and moves on)
|
||||
|
||||
d. **Create new main spec** if capability doesn't exist yet:
|
||||
- Create `<planningHome.root>/openspec/specs/<capability-path>/spec.md`
|
||||
- Add Purpose section: copy the delta's `## Purpose` body verbatim when it has one
|
||||
(this is what `openspec archive` does); only write a brief TBD placeholder when it does not
|
||||
- Add Requirements section with the ADDED requirements
|
||||
- Follow the **Main Spec Format Reference** below
|
||||
|
||||
5. **Validate updated main specs**
|
||||
|
||||
Run `openspec validate --specs` with the same selected-root flags used earlier.
|
||||
If validation fails, report the problems and do not claim the sync succeeded.
|
||||
|
||||
6. **Show summary**
|
||||
|
||||
After applying all changes, summarize:
|
||||
- Which capabilities were updated
|
||||
- What changes were made (requirements added/modified/removed/renamed)
|
||||
- Any new main spec left with a TBD Purpose placeholder, so it gets written
|
||||
now rather than lingering
|
||||
- Any capability retired, naming the deleted `spec.md`, its Purpose, and
|
||||
either a pasteable `git checkout` or checkout-scoped recovery guidance
|
||||
|
||||
**Delta Spec Format Reference**
|
||||
|
||||
```markdown
|
||||
## Purpose
|
||||
|
||||
Only on a delta that introduces a brand-new capability. Seeds the new main spec.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: New Feature
|
||||
The system SHALL do something new.
|
||||
|
||||
#### Scenario: Basic case
|
||||
- **WHEN** user does X
|
||||
- **THEN** system does Y
|
||||
|
||||
## MODIFIED Requirements
|
||||
|
||||
### Requirement: Existing Feature
|
||||
The system SHALL keep doing the existing thing, now also handling A.
|
||||
|
||||
#### Scenario: Scenario the main spec already has
|
||||
- **WHEN** user does X
|
||||
- **THEN** system does Y
|
||||
|
||||
#### Scenario: New scenario to add
|
||||
- **WHEN** user does A
|
||||
- **THEN** system does B
|
||||
|
||||
## REMOVED Requirements
|
||||
|
||||
### Requirement: Deprecated Feature
|
||||
|
||||
## RENAMED Requirements
|
||||
|
||||
- FROM: `### Requirement: Old Name`
|
||||
- TO: `### Requirement: New Name`
|
||||
```
|
||||
|
||||
**Main Spec Format Reference**
|
||||
|
||||
Main specs are what the delta merges INTO. They must never contain delta operation headers (`## ADDED/MODIFIED/REMOVED/RENAMED Requirements`) - after syncing, every requirement lives under a single `## Requirements` section:
|
||||
|
||||
```markdown
|
||||
# <capability> Specification
|
||||
|
||||
## Purpose
|
||||
Short description of what this capability does and why it exists.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: New Feature
|
||||
The system SHALL do something new.
|
||||
|
||||
#### Scenario: Basic case
|
||||
- **WHEN** user does X
|
||||
- **THEN** system does Y
|
||||
```
|
||||
|
||||
**Key Principle: Intelligent Merging**
|
||||
|
||||
Unlike programmatic merging, you merge rather than overwrite:
|
||||
- A MODIFIED block carries the whole requirement - body plus every scenario that survives the change. `openspec validate` and `openspec archive` both reject one that drops a scenario the main spec still has.
|
||||
- Keep anything the delta does not mention, in the main spec's existing order
|
||||
- Use your judgment to merge changes sensibly
|
||||
|
||||
**Output On Success**
|
||||
|
||||
```markdown
|
||||
## Specs Synced: <change-name>
|
||||
|
||||
Updated main specs:
|
||||
|
||||
**<capability-1>**:
|
||||
- Added requirement: "New Feature"
|
||||
- Modified requirement: "Existing Feature" (added 1 scenario)
|
||||
|
||||
**<capability-2>**:
|
||||
- Created new spec file
|
||||
- Added requirement: "Another Feature"
|
||||
|
||||
Main specs are now updated. The change remains active - archive when implementation is complete.
|
||||
```
|
||||
|
||||
**Guardrails**
|
||||
- Read both delta and main specs before making changes
|
||||
- Preserve existing content not mentioned in delta
|
||||
- Never copy a delta file into a main spec as-is - merge its content so the main spec keeps the Main Spec Format Reference structure, with no delta operation headers
|
||||
- If something is unclear, ask for clarification
|
||||
- Show what you're changing as you go
|
||||
- The operation should be idempotent - running twice should give same result
|
||||
- Use only `artifactPaths.specs.existingOutputPaths`; never infer delta specs from unrelated artifacts
|
||||
- Honor a caller-supplied subset of `existingOutputPaths`; never widen it back to the full list
|
||||
- Fetch specs instructions once for direct sync, or reuse the archive-supplied snapshot inline
|
||||
- Stop before every main-spec write on a non-zero or invalid JSON specs-instruction response
|
||||
- Artifact rules constrain only the specs being written and are never copied into output files
|
||||
@@ -0,0 +1,91 @@
|
||||
---
|
||||
name: openspec-update-change
|
||||
description: Update an OpenSpec change by revising its existing planning artifacts and keeping them coherent with one another. Use when the user wants to revise a change's plan, fold new decisions into it, or reconcile its artifacts after an edit. Never edits code.
|
||||
allowed-tools: Bash(openspec:*)
|
||||
license: MIT
|
||||
compatibility: Requires openspec CLI.
|
||||
metadata:
|
||||
author: openspec
|
||||
version: "1.0"
|
||||
generatedBy: "1.12.0"
|
||||
---
|
||||
|
||||
Revise a change's existing planning artifacts and keep them coherent. Never edit code.
|
||||
|
||||
**Store selection:** If the user names a store (a store is a standalone OpenSpec repo registered on this machine) or the work lives in one, run `openspec store list --json` to discover registered store ids, then pass `--store <id>` on the commands that read or write specs and changes (`new change`, `status`, `instructions`, `list`, `show`, `validate`, `archive`, `doctor`, `context`, `schemas`, `view`). Once selected, treat `--store <id>` as sticky for the rest of the workflow. Every unscoped example of those commands below is shorthand: before running it, append the flag. For example, run `openspec status --change "<name>" --json --store "<id>"`, not the unscoped form shown below. Other commands do not take the flag. Hints printed by commands already carry the flag; keep it on follow-ups. Without a store, commands act on the nearest local `openspec/` root.
|
||||
|
||||
**Input**: Optionally specify a change name. If omitted, check if it can be inferred from conversation context. If vague or ambiguous you MUST prompt for available changes.
|
||||
|
||||
`/openspec-continue-change` is an optional workflow and may not be installed. Before suggesting it anywhere below, verify that it is available. If it is unavailable, `openspec status --change "<name>" --json` shows the next artifact and `openspec instructions "<artifact-id>" --change "<name>" --json` explains how to create it.
|
||||
|
||||
**Steps**
|
||||
|
||||
1. **Select the change**
|
||||
|
||||
If a name is provided, use it. Otherwise:
|
||||
- Infer from conversation context if the user mentioned a change
|
||||
- Auto-select if only one active change exists
|
||||
- If ambiguous, run `openspec list --json` to get available changes sorted by most recently modified, and ask the user to select one
|
||||
|
||||
When prompting, present the top 3-4 most recently modified changes as options, showing:
|
||||
- Change name
|
||||
- Schema (from `schema` field if present, otherwise "spec-driven")
|
||||
- Status (e.g., "0/5 tasks", "complete", "no tasks")
|
||||
- How recently it was modified (from `lastModified` field)
|
||||
|
||||
Mark the most recently modified change as "(Recommended)" since it's likely what the user wants to update.
|
||||
|
||||
Always announce: "Using change: <name>" and how to override (e.g., `/openspec-update-change <other>`).
|
||||
|
||||
2. **Get the change's artifacts**
|
||||
```bash
|
||||
openspec status --change "<name>" --json
|
||||
```
|
||||
Parse the JSON to understand current state. The response includes:
|
||||
- `schemaName`: The workflow schema being used (e.g., "spec-driven")
|
||||
- `artifacts`: Array of artifacts with their status ("done", "skipped", "ready", "blocked")
|
||||
- `isPlanningComplete`: Boolean indicating if all planning artifacts are complete. Older CLI versions expose the same value as `isComplete`.
|
||||
- `planningHome`, `changeRoot`, `artifactPaths`, and `actionContext`: path and scope context. Use these instead of assuming repo-local paths.
|
||||
|
||||
The artifact ids and paths come from the active schema - do NOT assume them, and do NOT branch on hardcoded artifact names. Custom schemas must work unchanged.
|
||||
|
||||
The files to edit are `artifactPaths.<id>.existingOutputPaths` - the concrete files that exist on disk, already glob-expanded for glob artifacts (e.g. `specs/**/*.md`). Do NOT write to `resolvedOutputPath`: for a glob artifact it is still the glob pattern, not a real file.
|
||||
|
||||
3. **Understand the request**
|
||||
- If the user asked for a specific revision ("the design now uses X"), that is the starting edit.
|
||||
- If they only said "update" / "make this coherent", treat it as a coherence review: read the existing artifacts and check them against each other for contradictions, gaps, and duplication.
|
||||
|
||||
4. **Read and reconcile**
|
||||
- Read the artifact(s) the request touches and the change's other existing artifacts.
|
||||
- Apply the requested edit. Then check every other existing artifact against it - in ANY direction: an edit to a later artifact may require revising an earlier one, not only the other way around. Build order is a useful reading order, not a constraint on which artifacts may be revised.
|
||||
- Note everything that is now inconsistent, missing, or contradictory.
|
||||
- Revise only files that already exist (`existingOutputPaths`). Do NOT create artifacts that don't exist yet, and do NOT invent new files under a glob artifact - note them and point the user to `/openspec-continue-change` to create them.
|
||||
- If the change is already coherent, say so and make no edits.
|
||||
|
||||
5. **Confirm and apply, one artifact at a time**
|
||||
- Show each proposed revision and why. Write only after the user confirms.
|
||||
- If the user rejects a revision, do not write it - leave that artifact unchanged.
|
||||
- When a substantial rewrite is needed, get that artifact's rules and template first:
|
||||
```bash
|
||||
openspec instructions "<artifact-id>" --change "<name>" --json
|
||||
```
|
||||
|
||||
6. **Point to the next step (guidance only - NEVER act on it)**
|
||||
- Artifacts still missing -> suggest `/openspec-continue-change` to create them.
|
||||
- Change already implemented (tasks checked off / already applied) -> the code may no longer match the revised plan; suggest `/openspec-apply-change` to carry the delta into code.
|
||||
- Everything done and implemented -> suggest `/openspec-archive-change`.
|
||||
|
||||
**Output**
|
||||
|
||||
After each invocation, show:
|
||||
- Which artifacts were revised (and which proposed revisions were rejected)
|
||||
- Anything deferred to `/openspec-continue-change` (not-yet-created artifacts or files)
|
||||
- Where the change stands and the recommended next command
|
||||
|
||||
**Guardrails**
|
||||
- Planning artifacts only - NEVER edit implementation code. If the revised plan implies code changes, stop and point to `/openspec-apply-change`.
|
||||
- Use the artifact ids and paths reported by `openspec status`; never branch on hardcoded artifact names.
|
||||
- Edit only the concrete files in `existingOutputPaths`; never write to a glob `resolvedOutputPath`.
|
||||
- Do not advance the build frontier: no new artifacts, no new files under glob artifacts - that is `/openspec-continue-change`'s job.
|
||||
- Confirm every edit with the user before writing.
|
||||
- If the request changes the change's *intent* rather than refining it, first verify whether the optional `/openspec-new-change` workflow is available. If it is, recommend starting fresh with `/openspec-new-change` (the "Update vs. Start Fresh" heuristic). If it is unavailable, ask for a distinct unused change name and recommend `openspec new change "<new-change-name>"` instead.
|
||||
@@ -0,0 +1,103 @@
|
||||
# Анализ: Nylas CLI как альтернатива текущему стеку
|
||||
|
||||
**Дата:** 2026-09-11
|
||||
**Статус:** ❌ Не подходит — отклонено.
|
||||
**Инициатор:** Вопрос пользователя «может этот проект поможет упростить получение и отправку писем?»
|
||||
|
||||
---
|
||||
|
||||
## TL;DR
|
||||
|
||||
Nylas — это **облачный SaaS** (данные идут через серверы Nylas), а не
|
||||
локальный CLI для работы с произвольным IMAP. Для нашего сценария
|
||||
(локальный архив корпоративной почты + LLM-ассистент на bigbox) он
|
||||
добавляет зависимость от провайдера, плату и утечку данных третьей
|
||||
стороне — без выигрыша в функциональности.
|
||||
|
||||
---
|
||||
|
||||
## Что такое Nylas на самом деле
|
||||
|
||||
- Облачный платформенный сервис: `api.us.nylas.com`
|
||||
- Три продукта за одним API-ключом: **Connect** (Email/Calendar/Contacts/Scheduler
|
||||
API), **Notetaker** (транскрибация встреч), **Agent Accounts** (API-провижинг
|
||||
почтовых ящиков)
|
||||
- Есть **CLI** (`cli.nylas.com`) — но он работает **только через облако Nylas**:
|
||||
нужен API-ключ, OAuth или BYO-грант, аккаунт в Dashboard. Это НЕ локальный
|
||||
инструмент уровня `himalaya`, который ходит напрямую по IMAP
|
||||
- Поддерживаемые провайдеры: Google, Microsoft, Exchange (EWS), iCloud, Yahoo,
|
||||
generic **IMAP**, Zoom
|
||||
|
||||
## Как подключается IMAP (наш случай mail.corpoffice.tech)
|
||||
|
||||
1. Создать аккаунт Nylas, приложение, получить API-ключ (платно в проде)
|
||||
2. Подключить аккаунт через **Hosted OAuth** (пользователь вводит пароль в
|
||||
браузере/форме Nylas) или **Bring Your Own (BYO)**:
|
||||
```bash
|
||||
curl -X POST 'https://api.us.nylas.com/v3/connect/custom' \
|
||||
-H 'Authorization: Bearer <API_KEY>' \
|
||||
-H 'Content-Type: application/json' \
|
||||
-d '{
|
||||
"provider": "imap",
|
||||
"settings": {
|
||||
"imap_username": "e.storozhenko",
|
||||
"imap_password": "...",
|
||||
"imap_host": "mail.corpoffice.tech",
|
||||
"imap_port": 143,
|
||||
"smtp_host": "...",
|
||||
"smtp_port": 465
|
||||
}
|
||||
}'
|
||||
```
|
||||
3. Дальше работать через `nylas email list` / REST API `api.us.nylas.com`
|
||||
|
||||
## Проблемы Nylas для нашего проекта
|
||||
|
||||
| # | Проблема | Детали |
|
||||
|---|-----------|--------|
|
||||
| 1 | **Приватность** | Все письма копируются на серверы Nylas (US/EU). Корпоративная почта vinogorod у третьей стороны — неприемлемо |
|
||||
| 2 | **Стоимость** | Платная подписка + регистрация домена на Nylas. Локальный стек бесплатен |
|
||||
| 3 | **Contacts API для generic IMAP** | Требует **активации по контракту** (платно). У нас контакты уже работают локально через LLM (81 контакт) |
|
||||
| 4 | **Ротация IMAP-пароля** | У нас пароль IMAP **ротируется** (уже документировано в памяти). Грант Nylas при смене пароля **умирает** → реавторизация через OAuth |
|
||||
| 5 | **SMTP** | Для отправки нужно явно настраивать SMTP в гранте (опция `smtp_required`), всё равно через облако |
|
||||
| 6 | **UIDVALIDITY re-index** | Nylas пере-индексирует папку при смене UIDVALIDITY — на медленных корпоративных IMAP это «не поддерживается» (по их же докам) |
|
||||
| 7 | **Нет выигрыша** | Поиск (SQLite FTS5), контакты (LLM), индексация (Qdrant в планах) — всё уже есть или планируется локально |
|
||||
|
||||
## Сравнение с текущим стеком
|
||||
|
||||
| Критерий | Himаlaya + наш пайплайн (сейчас) | Nylas CLI |
|
||||
|---|---|---|
|
||||
| Локальность | Прямой IMAP с bigbox, всё на диске | Облако Nylas (письма идут через них) |
|
||||
| Стоимость | Бесплатно | Платная подписка + домен |
|
||||
| Отправка | Нужен SMTP-конфиг (у нас только чтение) | SMTP в гранте, но через облако |
|
||||
| Контакты | Локальный LLM-экстрактор (работает) | Платный контракт для generic IMAP |
|
||||
| Пароль | Ротация → правка конфига (5 сек) | Ротация → грант умирает, реавторизация |
|
||||
| Поиск | Локальный SQLite FTS5 | Облачный API |
|
||||
| Приватность | Полная (данные на bigbox) | Письма копируются Nylas |
|
||||
|
||||
## Когда Nylas имел бы смысл
|
||||
|
||||
- Строим **мультипровайдерный SaaS** (подключение Gmail/Outlook/iCloud
|
||||
пользователей через OAuth)
|
||||
- Нужна транскрибация встреч (Notetaker) или API-провижинг ящиков
|
||||
(Agent Accounts) без своей инфраструктуры
|
||||
- Облачное хранение почты не проблема (не корпоративная/чувствительная)
|
||||
|
||||
## Что может упростить отправку вместо Nylas
|
||||
|
||||
1. **Himalaya `message send`** — SMTP уже почти настроен (в
|
||||
`~/.config/himalaya/config.toml` есть аккаунт `hermes` с SMTP jino.ru;
|
||||
для vinogorod добавить `[accounts.vinogorod.message.send]` с
|
||||
`smtp.corpoffice.tech:465`)
|
||||
2. **msmtp/ssmtp + `mail`** — классика для крон-скриптов
|
||||
3. Python `smtplib` — если нужна программная отправка с вложениями
|
||||
|
||||
## Вывод
|
||||
|
||||
Nylas CLI **не подходит**: добавляет облачную зависимость, плату и утечку
|
||||
корпоративной почты третьей стороне, при этом не даёт ничего, чего бы у
|
||||
нас уже не было локально. Текущий стек (Himalaya → Python → SQLite →
|
||||
Ollama → Yandex Disk) закрывает задачу полностью и бесплатно.
|
||||
|
||||
**Решение:** продолжать с Himalaya; при необходимости отправки — настроить
|
||||
SMTP в himalaya-конфиге или использовать msmtp.
|
||||
+143
@@ -0,0 +1,143 @@
|
||||
# Email Assistant — Расширение: Web UI + Календарь/Задачи + Анализ Maildir
|
||||
|
||||
**Дата:** 2026-09-11
|
||||
**Тип:** Планирование портфеля задач (OpenSpec changes)
|
||||
**Приоритет:** Задачи 4 → 2 → 3 → 1 → 6 → 7
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
Существующий проект: `/opt/hermes/email-assistant/`
|
||||
- Архив писем: `/opt/hermes/email/` (email.md с YAML-frontmatter: id, folder, subject,
|
||||
from, to, date, flags, Message-ID, References, Content-Type + сырое тело)
|
||||
- Индексация: SQLite FTS5 (`mail_index.db`, ~5.4 MB, 2652 письма)
|
||||
- LLM: Qwen3:8b через Ollama localhost:11434 (без облака)
|
||||
- Стэк: Himalaya CLI → Python → SQLite → Ollama → Yandex Disk
|
||||
- SMTP не настроен (только чтение)
|
||||
|
||||
Календаря/трекера задач **нет** (проверено: порты 5232/8008/8080 не заняты —
|
||||
ни radicale, ни vikunja, ни leantime).
|
||||
|
||||
---
|
||||
|
||||
## Задача 4 (приоритет №1): Анализ «Файловая система vs Maildir» для хранения писем
|
||||
|
||||
**Пользователь хочет:** хранить данные в ФС, чтобы использовать локальную
|
||||
нейросеть как инструмент в обычных скриптах, без облака и трат.
|
||||
|
||||
**Что сделать:**
|
||||
1. Сравнить текущий подход (email.md в YYYY/MM/UID/ + SQLite FTS5-индекс) с Maildir
|
||||
2. Оценить: производительность, инкрементальность, устойчивость, совместимость,
|
||||
возможность LLM-анализа (grep/find/без БД)
|
||||
3. Вывод: остаться на текущем или мигрировать (с обоснованием)
|
||||
|
||||
**Критерии готовности:**
|
||||
- [ ] Документ `STORAGE_ANALYSIS.md` в корне проекта
|
||||
- [ ] Сравнение по таблице (ФС vs Maildir vs текущий)
|
||||
- [ ] Рекомендация с обоснованием
|
||||
- [ ] Ссылка из README.md
|
||||
|
||||
---
|
||||
|
||||
## Задача 2 (приоритет №2): Локальный календарь (CalDAV) + Задачи
|
||||
|
||||
**Требование:** локальный сервис календаря/задач с нативной синхронизацией
|
||||
с Android-телефоном.
|
||||
|
||||
**Кандидаты (локальные, без облака):**
|
||||
- **Radicale** (CalDAV + CardDAV, лёгкий, Python, single-user, порт 5232) —
|
||||
лучший для календаря + задач (VTODO)
|
||||
- **Vikunja** (задачи + kanban, веб-UI, PostgreSQL, порт 8080) — если нужен
|
||||
полноценный трекер с веб-интерфейсом
|
||||
- **Leantime** (проекты/задачи, MySQL, порт 8080) — тяжелее
|
||||
|
||||
**Предложение:** Radicale для CalDAV-календаря + задач (нативный CalDAV на
|
||||
Android через DAVx5/DAVx5), а для **веб-трекера задач** (кнопка из почты)
|
||||
— **Vikunja** (API + веб-UI).
|
||||
|
||||
**Что сделать:**
|
||||
1. Поставить Radicale (docker или systemd) — CalDAV на 5232
|
||||
2. Создать календарь «Личный», «Рабочий» + коллекцию задач (VTODO)
|
||||
3. Поставить Vikunja (docker, postgres) — трекер на 8080
|
||||
4. Настроить пользователей/проекты
|
||||
|
||||
**Критерии готовности:**
|
||||
- [ ] Radicale отвечает на `curl -X PROPFIND http://127.0.0.1:5232/` → 207
|
||||
- [ ] Vikunja отвечает на `curl http://127.0.0.1:8080/api/v1/info` → 200
|
||||
- [ ] Cauerдок в README (порты, логины, пути)
|
||||
|
||||
---
|
||||
|
||||
## Задача 3 (приоритет №3): Нативная синхронизация с Android
|
||||
|
||||
**Стек Android:**
|
||||
- **DAVx5** (CalDAV/CardDAV-клиент) — синхронизация Radicale
|
||||
- Android встроенный Google-календарь через DAVx5 bridge
|
||||
- Задачи: приложение **Tasks.org** / **Vikunja android** / **CalDAV-совместимое**
|
||||
|
||||
**Что сделать:**
|
||||
1. Убедиться, что Radicale доступен снаружи (caddy reverse proxy, домен
|
||||
cal.nixg.ru) + TLS
|
||||
2. Настроить DAVx5 на телефоне (логин/пароль Radicale, URL cal.nixg.ru)
|
||||
3. Проверить двустороннюю синхронизацию (создать событие на телефоне → видно
|
||||
в Radicale → в веб-UI)
|
||||
|
||||
**Критерий готовности:**
|
||||
- [ ] Событие, созданное на Android, появляется в Radicale (и наоборот)
|
||||
- [ ] Задача создаётся на телефоне → видна в трекере
|
||||
|
||||
---
|
||||
|
||||
## Задача 1 (приоритет №4): Веб-интерфейс ассистента
|
||||
|
||||
**Список писем** с полями:
|
||||
- Дата
|
||||
- Адресант
|
||||
- Назначенные тэги
|
||||
- Папка (для перемещения)
|
||||
|
||||
**Кнопка создания задачи в трекере:**
|
||||
|
||||
**Стек:** FastAPI + SQLite FTS5 + Jinja2 (или React) — локально.
|
||||
|
||||
**Что сделать:**
|
||||
1. FastAPI-приложение: GET / (список писем), GET /email/<id> (детали),
|
||||
POST /email/<id>/move (перемещение в папку), POST /email/<id>/tag
|
||||
2. Интеграция с трекером: POST /tasks (создание задачи в Vikunja API)
|
||||
3. Страница авторизации (см. Задача 7)
|
||||
|
||||
**Критерии:**
|
||||
- [ ] `curl http://127.0.0.1:8085/` → список писем (дата, адресант, тэги, папка)
|
||||
- [ ] Перемещение письма в папку реально перемещает файл
|
||||
- [ ] Кнопка «Создать задачу» → POST в Vikunja API → задача создаётся
|
||||
|
||||
---
|
||||
|
||||
## Задача 6: Кнопка создания задачи в трекере (из веб-UI)
|
||||
|
||||
- POST /api/v1/tasks (Vikunja) с данными письма (тема, отправитель, ссылка)
|
||||
- В веб-UI кнопка «Создать задачу» на каждом письме
|
||||
|
||||
---
|
||||
|
||||
## Задача 7: Аутентификация веб-интерфейса
|
||||
|
||||
- Страница логина (логин/пароль)
|
||||
- Сессия/токен (FastAPI + JWT или Basic over TLS)
|
||||
- Reverse proxy: Caddy → TLS (домен mai.nixg.ru или email.nixg.ru)
|
||||
- Только локальный доступ (127.0.0.1) если не нужен внешний
|
||||
|
||||
---
|
||||
|
||||
## Порядок OpenSpec-цикл
|
||||
|
||||
1. change `email-storage-analysis` (Задача 4) — быстрый, влияет на архитектуру
|
||||
2. change `local-calendar-tasks` (Задача 2) — Radicale + Vikunja
|
||||
3. change `android-sync` (Задача 3) — DAVx5 + caddy + домен
|
||||
4. change `email-webui` (Задача 1) — FastAPI + UI
|
||||
5. change `email-webui-auth` (Задача 7)
|
||||
6. change `email-api` (Задача 6) — интеграция с Vikunja
|
||||
|
||||
Каждый — через `openspec new change <name>` → proposal/specs/design/tasks →
|
||||
validate → archive.
|
||||
@@ -0,0 +1,67 @@
|
||||
# PRD — Email Assistant (локальный почтовый ассистент)
|
||||
|
||||
Обновлено: 2026-09-13
|
||||
|
||||
## Цель
|
||||
|
||||
Инкрементальный локальный архив корпоративной почты с последующей обработкой
|
||||
локальной LLM: классификация писем, извлечение контактов, дайджесты, интеграция
|
||||
с локальным календарём/задачами (Radicale CalDAV). Всё — локально (bigbox),
|
||||
без облачных зависимостей.
|
||||
|
||||
## Пользователи
|
||||
|
||||
Один пользователь — estorozhenko (личная корпоративная почта
|
||||
e.storozhenko@vinogorod.ru, IMAP mail.corpoffice.tech).
|
||||
|
||||
## Функциональные требования
|
||||
|
||||
1. **Архивация:** скачивать письма с IMAP, сохранять текст+метаданные в
|
||||
`email.md` (YAML-frontmatter + текст), структура
|
||||
`/opt/hermes/email/<folder>/YYYY/MM/<uid>/`.
|
||||
2. **Вложения:** сохранять вложения в каталог письма `attachments/`
|
||||
(ФТ-2, в работе).
|
||||
3. **Поиск:** SQLite FTS5 по письмам (веб-интерфейс, Задача 1).
|
||||
4. **Классификация:** локальная LLM (Qwen3:8b) классифицирует письмо →
|
||||
тег info/urgent/task/meeting + обоснование (ФТ-3, в работе).
|
||||
5. **Обработчики:** по тегам — urgent→Telegram, task→Radicale VTODO (календарь
|
||||
«Задачи»), meeting→Radicale VEVENT (календарь «Рабочий»), info→ничего
|
||||
(ФТ-4, в работе).
|
||||
6. **Контакты:** извлечение контактов из подписей через LLM + двухсторонний
|
||||
CardDAV sync с Radicale («Контакты»).
|
||||
7. **Дайджест:** еженедельная сводка писем.
|
||||
8. **Календарь/задачи:** Radicale CalDAV (Личный/Рабочий/Задачи), синхронизация
|
||||
с Android (DAVx5 → календари/контакты, jtx board → VTODO-задачи).
|
||||
|
||||
## Нефункциональные требования
|
||||
|
||||
- **Приватность:** текст писем никогда не покидает bigbox (обработка только
|
||||
локальной LLM Qwen3:8b через Ollama localhost:11434).
|
||||
- **Идемпотентность:** повторный запуск не дублирует (классификацию,
|
||||
обработчики, вложения).
|
||||
- **Отказоустойчивость:** сбой обработчика не теряет письмо (лог + повторная
|
||||
попытка по тегу).
|
||||
- **Расположение:** всё в `/opt/hermes/` (единый каталог, бэкап = копия).
|
||||
- **Порядок данных:** секреты — только в `.env`/`.htpasswd`, не в git и не в
|
||||
README/WALKTHROUGH.
|
||||
|
||||
## Границы (что НЕ делаем)
|
||||
|
||||
- **НЕ** используем облачных ассистентов/API для содержимого писем (Nylas и
|
||||
т.п. отклонено).
|
||||
- **НЕ** используем Vikunja — задачи через Radicale VTODO (решение 2026-09-13).
|
||||
- **НЕ** отправка почты (архив read-only).
|
||||
- **НЕ** удаляем/теряем письма — архив только пополняется.
|
||||
|
||||
## Критерии готовности
|
||||
|
||||
- [ ] Вложения качаются в `attachments/` (ФТ-2)
|
||||
- [ ] Классификатор проставляет теги на всю базу (ФТ-4)
|
||||
- [ ] Обработчики срабатывают и видны в Telegram/Radicale (ФТ-5)
|
||||
- [ ] Веб-интерфейс: поиск, тэги, «Создать задачу» (Задача 1)
|
||||
- [ ] Календарь/задачи синхронизируются на Android по CalDAV
|
||||
|
||||
## Стек
|
||||
|
||||
Himalaya CLI → Python (mail_archive.py) → SQLite FTS5 → Ollama Qwen3:8b →
|
||||
Radicale (CalDAV/CardDAV, docker :5232, cal.nixg.ru) → Telegram (уведомления).
|
||||
@@ -7,3 +7,15 @@
|
||||
**Статус:** Фаза 1.5 — Индексация, поиск, дайджесты + Адресная книга (в работе)
|
||||
|
||||
Подробнее: [STATUS.md](STATUS.md)
|
||||
|
||||
## Оценка альтернатив
|
||||
|
||||
- [Анализ Nylas CLI](NYLAS_ANALYSIS.md) — почему Nylas **не подходит** для локального архива (2026-09-11)
|
||||
- [Анализ формата хранения: ФС vs Maildir](STORAGE_ANALYSIS.md) — почему текущий формат удобнее Maildir для локальной LLM (2026-09-11)
|
||||
|
||||
## CardDAV / CalDAV (контакты, календарь, задачи)
|
||||
|
||||
- **Radicale** (:5232, bigbox, Docker) — CalDAV/CardDAV-сервер. Карточки контактов синхронизируются двусторонне: `scripts/contacts_caldav_sync.py` (push 81 контакт → vCard; pull правок/создания/удаления с телефона → `contacts.json`).
|
||||
- **Vikunja** (:3456) — трекер задач (в Docker, разворачивается).
|
||||
- **Android:** [DAVx⁵](https://www.davx5.com) (F-Droid/Play) для контактов/календаря, jtx board для задач Vikunja.
|
||||
- **Публичный доступ:** через Caddy на vps02 (`cal.nixg.ru` → Radicale, `tasks.nixg.ru` → Vikunja) — настройка = следующая задача; подробности и конфиги Caddy: [STATUS.md → «DAVx⁵ (Android: CalDAV/CardDAV-мост)»](STATUS.md)
|
||||
@@ -1,9 +1,9 @@
|
||||
# Email Assistant — локальный архив и ассистент почты
|
||||
|
||||
**Дата:** 2026-07-19
|
||||
**Фаза:** 1.5 — Индексация, поиск, дайджесты + Адресная книга (в работе)
|
||||
**Дата:** 2026-09-13
|
||||
**Фаза:** 1.5–1.7 + Портфель веб-UI (планирование) + Классификация/обработчики (в работе)
|
||||
|
||||
**Стек:** Himalaya CLI → Python → SQLite → Ollama (Qwen3:8b) → Yandex Disk
|
||||
**Стек:** Himalaya CLI → Python → SQLite → Ollama (Qwen3:8b) → Radicale (CalDAV) → Telegram
|
||||
|
||||
---
|
||||
|
||||
@@ -76,11 +76,12 @@ Hermes cron:
|
||||
- [ ] Поставить cron на `mail_index.py --incremental` (раз в 5-10 мин)
|
||||
- [ ] Поставить cron на `digest.py` (раз в неделю)
|
||||
|
||||
### Фаза 1.7: Динамическое обнаружение всех подпапок INBOX ❌
|
||||
- [ ] `mail_archive.py` — список вложенных папок INBOX захардкожен (18 шт.), но на сервере их **137** (включая многоуровневые: INBOX/!Персонал/ОТ и ТБ, INBOX/Бюджет/Винный город/CAPEX 2025, INBOX/Контрагенты/iiko/Тихая гавань и т.д.)
|
||||
- [ ] `--all` сейчас использует тот же хардкод — не архивирует ~120 подпапок
|
||||
- [ ] Требуется: динамическое обнаружение IMAP-папок через `himalaya folder list`, рекурсивный обход всех подпапок INBOX (любой глубины), автоматическая архивация новых подпапок при их создании
|
||||
- [ ] `mail-archive-every-5min` cron должен обновлять список папок динамически, а не из хардкода
|
||||
### Фаза 1.7: Динамическое обнаружение всех подпапок INBOX ✅
|
||||
- [x] `mail_archive.py` — список вложенных папок INBOX захардкожен (18 шт.), но на сервере их **137** (включая многоуровневые: INBOX/!Персонал/ОТ и ТБ, INBOX/Бюджет/Винный город/CAPEX 2025, INBOX/Контрагенты/iiko/Тихая гавань и т.д.)
|
||||
- [x] `--all` сейчас использует тот же хардкод — не архивирует ~120 подпапок
|
||||
- [x] Требуется: динамическое обнаружение IMAP-папок через `himalaya folder list`, рекурсивный обход всех подпапок INBOX (любой глубины), автоматическая архивация новых подпапок при их создании
|
||||
- [x] `mail-archive-every-5min` cron должен обновлять список папок динамически, а не из хардкода
|
||||
- [x] **Реализовано (2026-09-11):** `get_inbox_subfolders()` через `himalaya folder list` — динамически находит **136** подпапок INBOX (глубина до 3), fallback на хардкод при ошибке. `--all` использует `FOLDERS + get_inbox_subfolders()`. Проверено: 140 папок в списке, smoke-тест на реальном запуске. Таймаут envelope list поднят до 180с (INBOX 14k писем >60с).
|
||||
|
||||
### Фаза 1.6: Адресная книга (Contacts Extractor) ✅⬜
|
||||
- [x] `contacts_extractor.py` — извлечение контактов из подписей через LLM
|
||||
@@ -103,6 +104,51 @@ Hermes cron:
|
||||
|
||||
---
|
||||
|
||||
## Портфель: Веб-интерфейс + Календарь/Задачи (2026-09-11)
|
||||
|
||||
План: `PLAN_WEBUI.md`. Порядок: Задача 4 → 2 → 3 → 1 → 6 → 7.
|
||||
|
||||
### Задача 4: Анализ ФС vs Maildir ✅ (закрыта 2026-09-11)
|
||||
- [x] `STORAGE_ANALYSIS.md` — сравнение email.md/Maildir/MBOX/notmuch по 7 критериям
|
||||
- [x] Рекомендация: **остаться на email.md** + добавить `tags: []` в frontmatter + опц. экспорт в Maildir
|
||||
- [x] Ссылка в README; change `email-storage-analysis` заархивирован (openspec-lab)
|
||||
- [x] Факты: 4884 письма, 76 МБ, 81 контакт
|
||||
|
||||
### Задача 2: Локальный календарь + трекер задач 🔵 (в работе)
|
||||
- [x] Решение пользователя: **Radicale (CalDAV) + Vikunja (трекер)**, всё в Docker-контейнерах
|
||||
- [x] **РЕШЕНИЕ 2026-09-13: Vikunja — ЛИШНЯЯ СУЩНОСТЬ, задачи через Radicale VTODO** (change `remove-vikunja-use-radicale-tasks`). Radicale из коробки умеет VTODO (календарь «Задачи»), jtx board читает их по CalDAV. Vikunja выводится из эксплуатации.
|
||||
- [x] Change `local-calendar-tasks` создан и валиден — proposal/specs/design/tasks (Radicale-часть актуальна, Vikunja-часть — SUPERSEDED)<br>
|
||||
- [x] **Radicale развёрнут и РАБОТАЕТ (2026-09-13)**: контейнер на :5232, PROPFIND 207 с паролем / 401 без. Коллекции Личный/Рабочий/Задачи на ФС.
|
||||
- [x] **CardDAV-синк контактов (2026-09-13, change `contacts-caldav-server`)**: `scripts/contacts_caldav_sync.py` — двусторонний sync. PUSH: 81 контакт → vCard в Radicale. PULL: правки/создание/удаление карточек с телефона → contacts.json. Идемпотентно (162 unchanged, 0 PUT на повторе). Конфликты (412) — приоритет телефону, локальная версия в `caldav-sync.log`. Подробнее: `scripts/contacts_caldav_sync.py --help`, лог `/opt/hermes/email/contacts/caldav-sync.log`.
|
||||
- [x] **Vikunja ВЫВЕДЕНА ИЗ ЭКСПЛУАТАЦИИ (2026-09-13)**: контейнеры vikunja + vikunja-db удалены (`docker compose down -v`), каталог `/opt/hermes/email-assistant/vikunja/` удалён, порт 3456 свободен. Tasks.nixg.ru закомментирован в Caddy (строки 114-120), Caddy перезагружен (бэкап Caddyfile.bak-vikunja-removed). |
|
||||
- [x] **Caddy reverse proxy (cal.nixg.ru → 5232)** — РАБОТАЕТ (2026-09-13): PROPFIND 207 снаружи. tasks.nixg.ru закомментирован.
|
||||
- [x] **«Обход в Глории»** — повторяющееся событие (Рабочий, VTIMEZONE Europe/Moscow, RRULE WEEKLY BYDAY=TU 11:00), подтверждено на телефоне (GMT+3 ✓)
|
||||
|
||||
### Задача 3: Нативная синхронизация с Android 🔵 (в работе)
|
||||
- [x] **Контакты синхронизированы** (DAVx5 → Radicale «Контакты»; CardDAV-sync двусторонний, change `contacts-caldav-server`)
|
||||
- [x] **Caddy reverse proxy (cal.nixg.ru → 5232)** — работает, PROPFIND 207 снаружи
|
||||
- [x] **«Обход в Глории»** — VEVENT подтверждён на телефоне (GMT+3 ✓)
|
||||
- [ ] **Проверить появление событий/задач в приложении** (тестовый VEVENT obhod-v-glorii-2026.ics в «Рабочий», тестовый VTODO test-vikunja-removal-2026 в «Задачи») — контакты синхронизируются, события/задачи на телефоне пока не проверены
|
||||
- [ ] Двусторонняя синхронизация: событие/задача с телефона → bigbox → база
|
||||
|
||||
### Задача 8: Классификация писем и обработчики 🔵 (в работе, change `email-classification-handlers`)
|
||||
- [x] **Вложения**: фикс бага `himalaya --dir` → `--downloads-dir`; вложения в `<msg_dir>/attachments/`; идемпотентно (2026-09-13 вечер, проверено на живом письме)
|
||||
- [x] **Классификатор**: `scripts/email_classifier.py` — Qwen3:8b (Ollama localhost:11434) → теги info/urgent/task/meeting + `classification`/`classification_reason` в frontmatter; идемпотентно; прогон прошёл (письмо 422 → task,meeting)
|
||||
- [x] **Обработчики**: `scripts/email_handlers.py` — urgent→Telegram (Bot API+SOCKS5), task→Radicale VTODO («Задачи»), meeting→Radicale VEVENT («Рабочий»), info→ничего; идемпотентно через `handled_*`
|
||||
- [x] **Фикс секретов (2026-09-14)**: скрипт теперь сам читает `radicale/.env` (RADICALE_PASS) и `/opt/vesti/.env` (VESTI_BOT_TOKEN) — раньше без ручного export был 401; добавлен stdlib-парсер .env (python-dotenv в системе нет)
|
||||
- [x] **Живой прогон (2026-09-14)**: письмо 2026/422 → VTODO «Задачи» (204) + VEVENT «Рабочий» (204); повтор — идемпотентно (0 дублей)
|
||||
- [x] **Cron (2026-09-14)**: `mail-classify-handlers` (6e1e78ceedfd, every 5m) — классификатор (--limit 10) → обработчики; end-to-end проверено: 5 новых «meeting» → 5 VEVENT (201)
|
||||
- [ ] Живое urgent-письмо → доставка в Telegram (механика готова, токен подхватывается; пока не было urgent-писем)
|
||||
- [x] **Telegram-секреты**: токен `VESTI_BOT_TOKEN` читается из /opt/vesti/.env; канал-дефолт `@dedinit_vesti` (TELEGRAM_CHAT_ID можно переопределить в .env проекта)
|
||||
|
||||
### Задача 1: Веб-интерфейс ассистента ⬜
|
||||
- [ ] FastAPI + SQLite FTS5: список писем (дата/адресант/тэги/папка)
|
||||
- [ ] Перемещение в папку; тэги
|
||||
- [ ] Кнопка «Создать задачу» → Radicale VTODO (Задача 6, вместо Vikunja API)
|
||||
- [ ] Страница авторизации (Задача 7)
|
||||
|
||||
---
|
||||
|
||||
## Решения и проблемы скриптов
|
||||
|
||||
### `mail_archive.py` — Инкрементальный архиватор
|
||||
@@ -110,7 +156,8 @@ Hermes cron:
|
||||
|
||||
**Решение:**
|
||||
- Для каждой папки хранится `last_uid` в `/opt/hermes/email/state/mail-archive-last-<folder>.json`
|
||||
- Himalaya читает envelope (from, to, subject, date, message-id) → YAML frontmatter
|
||||
- `--limit N` — максимум писем за проход (по умолчанию 200)
|
||||
- `--drain` — скачивать ВСЮ почту до конца: повторять проходы по каждой папке, пока за проход не обработано 0 писем. Нужен, когда новых писем накопилось больше батча (`--limit`) — скрипт сам себя повторяет до полного осущения папки, а не оставляет хвост до следующего запуска. Предохранитель от бесконечного цикла (10 000 проходов).
|
||||
- `himalaya envelope --page-size 500` для быстрой загрузки списка писем
|
||||
- Каждое письмо: `himalaya get <uid> | email-to-md.py` → `email.md`
|
||||
- Инкрементально: добавляет все uid > last_uid, обновляет last_uid
|
||||
@@ -179,18 +226,15 @@ Hermes cron:
|
||||
|
||||
## Текущие метрики
|
||||
|
||||
| Папка | Писем | Контакты извл. |
|
||||
|-------|-------|-----------------|
|
||||
| INBOX | 585 | — |
|
||||
| INBOX подпапки (18 хардкодных) | ~180 | — |
|
||||
| **Неархивируемые подпапки INBOX** | **~120 папок не синхронизируются** | **—** |
|
||||
| Sent | 515 | — |
|
||||
| Отправленные | 510 | — |
|
||||
| Archive | 373 | — |
|
||||
| **Всего** | **2073** | **5** |
|
||||
| Папка | Писем (2026-09-11) |
|
||||
|-------|---------------------|
|
||||
| INBOX (вкл. подпапки) | 2674 |
|
||||
| Archive | 876 |
|
||||
| Отправленные | 790 |
|
||||
| Sent | 544 |
|
||||
| **Всего** | **4884** (76 МБ, mail_index.db 5.4 MB) |
|
||||
|
||||
Индекс: 2073 письма, 5.4 MB SQLite.
|
||||
Контакты: 5 найдено (clean_body отрезает подпись в большинстве forwarded-писем).
|
||||
Контакты: **81** в contacts.json (не «5» — устарело; проверено 2026-09-11).
|
||||
|
||||
---
|
||||
|
||||
@@ -198,13 +242,59 @@ Hermes cron:
|
||||
|
||||
| ID | Имя | Расписание | Тип | Статус |
|
||||
|----|-----|-----------|-----|--------|
|
||||
| 22c5beb891cc | mail-archive-every-5min | every 5m | no-agent (скрипт) | ✅ |
|
||||
| 8e181a988392 | contacts-extractor-every-30m | every 30m | скрипт (--limit 15) | ✅ |
|
||||
| 5f2305b2bbf8 | mail-archive-every-5min | every 5m | no-agent (скрипт) | ✅ (Фаза 1.7: использует `--all --drain` с динамическим списком) |
|
||||
| ea0fd1ab4f93 | contacts-extractor-every-30m | every 30m | скрипт (--limit 15) | ✅ |
|
||||
| 6e1e78ceedfd | mail-classify-handlers | every 5m | скрипт (classifier --limit 10 → handlers) | ✅ (2026-09-14) |
|
||||
| — | mail-index-incremental | not set | — | ❌ |
|
||||
| — | digest-weekly | not set | — | ❌ |
|
||||
|
||||
---
|
||||
|
||||
## DAVx⁵ (Android: CalDAV/CardDAV-мост)
|
||||
|
||||
**Назначение:** DAVx⁵ — приложение-синхронизатор для Android, **не имеет собственного UI** для просмотра событий/контактов, а встраивается в стандартные системные приложения Android (Календарь, Контакты). Это стандарт де-факто для синхронизации с Radicale на Android.
|
||||
|
||||
- **Где взять:** F-Droid (бесплатно) или Google Play (платно, поддержка разработчиков).
|
||||
- **Как работает:** добавляете аккаунт (URL сервера Radicale, логин, пароль) → DAVx⁵ сам находит доступные календари и адресные книги → выбираете, что синхронизировать с системой.
|
||||
- **Для задач** пользователь поставил **jtx board** (не DAVx⁵).
|
||||
|
||||
### Настройка Caddy для Radicale
|
||||
|
||||
Проксирование Radicale через Caddy требует внимания к путям и заголовкам, иначе CalDAV/CardDAV-клиенты не найдут ресурсы.
|
||||
|
||||
**Рабочий пример для домена `dav.example.com` (Radicale в корне):**
|
||||
```caddyfile
|
||||
dav.example.com {
|
||||
# Важно: сохраняем заголовок Authorization для Radicale
|
||||
header_up Authorization {header.Authorization}
|
||||
|
||||
# Если Radicale в подпапке — используйте handle_path (см. ниже)
|
||||
reverse_proxy localhost:5232
|
||||
}
|
||||
```
|
||||
|
||||
**Ключевые моменты:**
|
||||
1. **Сохранение Authorization:** Caddy по умолчанию может удалять заголовки. `header_up Authorization {header.Authorization}` гарантирует, что Radicale получит логин/пароль.
|
||||
2. **X-Script-Name (если в подпапке):** для размещения по `/radicale` нужен `handle_path` для удаления префикса пути + заголовок `X-Script-Name`, чтобы Radicale знал о своём расположении.
|
||||
3. **Обязательный `handle_path` для подпапки:** простой `reverse_proxy` внутри `handle` может не сработать — Radicale ожидает запросы без префикса (получает его через `X-Script-Name`).
|
||||
|
||||
**Пример для подпапки `/radicale`:**
|
||||
```caddyfile
|
||||
dav.example.com {
|
||||
handle_path /radicale/* {
|
||||
header_up Authorization {header.Authorization}
|
||||
header_up X-Script-Name /radicale
|
||||
reverse_proxy localhost:5232
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**В DAVx⁵ указывается базовый URL** (например, `https://dav.example.com` или `https://dav.example.com/radicale`); пути к календарям/контактам приложение определяет автоматически.
|
||||
|
||||
**Наш случай (следующая сессия):** поддомен `cal.nixg.ru` (Caddy на vps02, `reverse_proxy 10.8.0.2:5232` к bigbox) — Radicale слушает 127.0.0.1:5232, user `estorozhenko`, пароль `RADICALE_PASS` в `radicale/.env`. Адресная книга: `Контакты` (кириллица в URL — DAVx5 умеет). **Задачи: Radicale VTODO (календарь «Задачи») → jtx board** (Vikunja выведена, change `remove-vikunja-use-radicale-tasks`).
|
||||
|
||||
---
|
||||
|
||||
## Конфигурация
|
||||
|
||||
- **Репозиторий:** `https://gitea.nixg.ru/hermes/email-assistant`
|
||||
@@ -212,6 +302,18 @@ Hermes cron:
|
||||
- [ ] Настроить push mirror из gitea.nixg.ru в gitverse.ru
|
||||
- Требуется: создать репозиторий на gitverse.ru, получить токен, настроить mirror в настройках gitea (Settings → Git Hooks/Mirrors → Add Push Mirror)
|
||||
|
||||
### Ресурсы проекта (расположение и доступ)
|
||||
|
||||
| Ресурс | Где живёт | Доступ |
|
||||
|--------|-----------|--------|
|
||||
| **Caddy (reverse proxy)** | vps02 = 87.242.100.206, контейнер `caddy` | SSH: `ssh vps02` (alias в `~/.ssh/config`, User estorozhenko, ключ cloudruVPS). Caddyfile: `/opt/caddy/Caddyfile` (root; правка через `sudo`). Reload: `sudo docker exec caddy caddy reload --config /etc/caddy/Caddyfile` |
|
||||
| **Radicale (CalDAV)** | bigbox, контейнер `radicale`, порт 5232 | WGET: `http://127.0.0.1:5232` (с bigbox), наружу: `https://cal.nixg.ru`. Конфиг: `/opt/hermes/email-assistant/radicale/` (compose.yml, .env — пароль `RADICALE_PASS`). Коллекции на ФС: `/opt/hermes/email-assistant/radicale/data/collections/collection-root/estorozhenko/{Личный,Рабочий,Задачи}` |
|
||||
| **Vikunja (трекер задач)** | ~~bigbox, compose в `/opt/hermes/email-assistant/vikunja/`~~ | ⛔ **ВЫВЕДЕНА** (change `remove-vikunja-use-radicale-tasks`). Задачи → Radicale VTODO (календарь «Задачи»). |
|
||||
| **WG (сеть хостов)** | 10.8.0.0/24 | bigbox = 10.8.0.2 (цель reverse-proxy с vps02), vps01 = .1, vps03 = .3, vps02 = .4 |
|
||||
| **SSH-ключи** | `/home/estorozhenko/.ssh/` | vps01_key (vps01), cloudruVPS (vps02), hostkeyVPS (vps03/root) |
|
||||
|
||||
**Домены (публичный DNS):** cal.nixg.ru → 87.242.100.206 (vps02/Caddy → bigbox Radicale 5232). **tasks.nixg.ru — НЕ используется** (Vikunja выведена).
|
||||
|
||||
- **Himalaya:** `~/.config/himalaya/config.toml`
|
||||
- **Аккаунт:** `vinogorod`, IMAP `mail.corpoffice.tech:143` (STARTTLS)
|
||||
- **Почта:** `e.storozhenko@vinogorod.ru`
|
||||
|
||||
@@ -0,0 +1,151 @@
|
||||
# Анализ хранения писем: Файловая система vs Maildir
|
||||
|
||||
**Дата:** 2026-09-11
|
||||
**Статус:** Анализ (не миграция). Данные не изменены.
|
||||
**Мотивация:** использовать локальную нейросеть (Qwen3:8b, Ollama) как
|
||||
инструмент в обычных скриптах — без облака и трат.
|
||||
|
||||
---
|
||||
|
||||
## TL;DR / Рекомендация
|
||||
|
||||
**Остаться на текущем формате** (`email.md` + YAML-frontmatter + SQLite FTS5).
|
||||
Он полностью закрывает сценарий «локальная LLM из скриптов», которым мотивирован
|
||||
выбор файлового хранения. Maildir даёт стандартность, но для LLM-анализа хуже
|
||||
(нужен разбор MIME) и не поддерживает произвольные тэги.
|
||||
|
||||
**Эволюция вместо миграции:**
|
||||
1. Добавить `tags: []` в frontmatter (для веб-UI «назначенные тэги»)
|
||||
2. Держать Maildir-совместимость как **опцию экспорта** (не как базовое хранение)
|
||||
3. `notmuch` — опция позже, если FTS5 станет тесным
|
||||
|
||||
---
|
||||
|
||||
## Факты по текущему архиву (замер 2026-09-11)
|
||||
|
||||
| Метрика | Значение |
|
||||
|---------|----------|
|
||||
| Всего email.md | **4884** |
|
||||
| Объём | **76 МБ** |
|
||||
| INBOX (вкл. подпапки) | 2674 |
|
||||
| Archive | 876 |
|
||||
| Отправленные | 790 |
|
||||
| Sent | 544 |
|
||||
| Размер mail_index.db (FTS5) | 5.4 MB |
|
||||
| Структура | `/<folder>/YYYY/MM/UID/email.md` |
|
||||
|
||||
Frontmatter (пример):
|
||||
```yaml
|
||||
id: 4
|
||||
folder: INBOX/!Отчеты
|
||||
subject: "FW: Справка о статусах..."
|
||||
from: "Головлев Алексей Вячеславович <a.golovlev@vinogorod.ru>"
|
||||
to: "Рыбкин Валентин Станиславович <v.rybkin@vinogorod.ru>"
|
||||
date: "2025-08-22 21:50+03:00"
|
||||
flags: ["Seen"]
|
||||
```
|
||||
Плюс в части файлов: Message-ID, References, In-Reply-To, Content-Type.
|
||||
Тело — в том же файле после `---`.
|
||||
|
||||
---
|
||||
|
||||
## Сравнение форматов
|
||||
|
||||
| Критерий | Текущий (email.md + FTS5) | Maildir | MBOX | notmuch |
|
||||
|----------|---------------------------|---------|------|---------|
|
||||
| **Пригодность для LLM-скриптов** | ★★★★★ — `cat email.md \| ollama` напрямую: frontmatter + тело | ★★☆ — raw-MIME, нужен парсер (`mail`/`munpack`) | ★★☆ — mbox, нужен разбор | ★★★★ — поиск готов, но тело в Maildir |
|
||||
| **Человекочитаемость** | ★★★★★ — YAML + Markdown, grep/obsidian | ★★☆ — имена файлов нечитаемы, MIME | ★★☆ | ★★★ |
|
||||
| **Производительность инкр. чтения** | ★★★★ — скан случайных UID-папок | ★★★★★ — число файлов в `new/` = новых писем | ★★☆ — весь файл на перезапись | ★★★★★ |
|
||||
| **Атомарность / устойчивость** | ★★★★ — новая папка на письмо (но без fsync) | ★★★★★ — tmp→new→cur, эталон | ★★☆ — блокировки, частичная запись | ★★★★ |
|
||||
| **Флаги (Seen/Answered)** | ★★★ — в frontmatter | ★★★★★ — в имени файла `:2,RS` | ★★★ | ★★★★ |
|
||||
| **Произвольные тэги (для UI)** | ★★★★★ — добавить `tags: []` | ★★☆ — только флаги, тэгов нет | ★★☆ | ★★★★★ — core-фича |
|
||||
| **Стандарт / совместимость с MUA** | ★★☆ — свой, MUA не читают | ★★★★★ — mutt/neomutt/thunderbird/dovecot | ★★★★★ — legacy | ★★★★ (поверх Maildir) |
|
||||
| **Масштабируемость (10k–100k)** | ★★★★ — но много маленьких файлов | ★★★★★ | ★★☆ | ★★★★★ |
|
||||
| **Бэкапы (Yandex Disk / git)** | ★★★★★ — простой копией/grep | ★★★★ — тысячи файлов | ★★★★ | ★★★ (нужен индекс) |
|
||||
|
||||
---
|
||||
|
||||
## Детали по каждому подходу
|
||||
|
||||
### Текущий формат `email.md` (выбран)
|
||||
**Плюсы:**
|
||||
- Идеален для локальной LLM: `cat email.md | ollama run qwen3:8b "резюмируй"` —
|
||||
тело уже очищено от MIME, frontmatter даёт атрибуты для фильтрации в скрипте
|
||||
- Прозрачность: `grep`, `find`, `jq`, Obsidian, VS Code
|
||||
- Атомарность записи: `mail_archive.py` создаёт новую папку `UID/`, не трогая
|
||||
существующие письма → устойчиво к сбою в любой момент
|
||||
- Бэкап = копирование директории (Yandex Disk FUSE)
|
||||
|
||||
**Минусы:**
|
||||
- Нестандартный: ни один MUA (mutt/thunderbird) не читает напрямую
|
||||
- Флаги в frontmatter, не в ФС-атрибутах → медленнее для MUA
|
||||
- Нет встроенной семантики целостности Maildir (fsync) — но для архива это ок
|
||||
- Дублирование с FTS5-индексом (mail_index.db) — два источника правды
|
||||
- 4884 файла = 4884 маленьких файла → фирменных лимитов на inode нет, но
|
||||
на сотнях тысяч лучше Maildir
|
||||
|
||||
### Maildir
|
||||
**Плюсы:**
|
||||
- **Стандарт де-факто**: mutt, neomutt, thunderbird, dovecot читают
|
||||
- **Эталон атомарности**: `tmp/` → `new/` → `cur/`, флаги в имени файла
|
||||
- Новые письма = файлы в `new/` → быстрый инкрементальный скан (нет SQL)
|
||||
- Надёжность при сбое: никогда не частичного файла
|
||||
|
||||
**Минусы (критично для нас):**
|
||||
- Тело в **raw-MIME**: для LLM-анализа нужен парсер (email.message, munpack).
|
||||
У нас аналогично 2674 письма, но LLM должен читать frontmatter за `cat`
|
||||
- Имена файлов нечитаемы (`1700000000.12345.host:2,S`) — grep по теме невозможен
|
||||
- **Нет произвольных тэгов** — только Seen/Answered/Flagged/Deleted. Для
|
||||
«назначенных тэгов» в веб-UI пришлось бы вести отдельный индекс (notmuch/SQLite)
|
||||
- Не человекочитаем в Obsidian
|
||||
|
||||
### MBOX
|
||||
Исключается сразу: один большой файл на папку, перезапись при любом изменении,
|
||||
блокировки, плохо для инкрементального чтения и бэкапов по частям. Для LLM
|
||||
и бэкапов на Yandex Disk — худший выбор.
|
||||
|
||||
### notmuch (поверх Maildir или email.md)
|
||||
**Плюсы:** полнотекстовый поиск с тэгами — идеален для UI-тэгов.
|
||||
**Минусы:** это **индексный слой**, не хранилище. Требует демона/индекса,
|
||||
дублирует то, что уже делает FTS5. Дисквалифицирует простоту `grep`.
|
||||
|
||||
---
|
||||
|
||||
## Гибридный путь (рекомендация)
|
||||
|
||||
Сохранить текущий `email.md` как **каноническое хранилище** (источник правды),
|
||||
но:
|
||||
1. **Добавить `tags: []`** в frontmatter при записи (для UI) — тривиально в
|
||||
`mail_archive.py`
|
||||
2. **Экспорт в Maildir** как **опция** (для чтения в mutt/thunderbird при
|
||||
желании), не зеркало в реальном времени — по запросу
|
||||
3. **FTS5 остаётся** поисковым индексом; при росте >50k писем — оценить notmuch
|
||||
|
||||
Это даёт: LLM-удобство (текущий), стандартную совместимость (опция экспорта),
|
||||
UI-тэги (frontmatter), поиск (FTS5). Без потери данных и без миграции.
|
||||
|
||||
---
|
||||
|
||||
## Влияние на веб-интерфейс (задача 1)
|
||||
|
||||
Текущий формат уже содержит всё для UI-списка:
|
||||
- `date` → дата письма
|
||||
- `from` → адресант
|
||||
- `subject` → тема
|
||||
- (новое) `tags` → назначенные тэги
|
||||
- `folder` → текущая папка (для перемещения: `mail_archive.py` или прямой
|
||||
`mv` + обновить frontmatter + FTS5)
|
||||
|
||||
Maildir не дал бы тэгов без отдельного индекса. Текущий формат — оптимален.
|
||||
|
||||
---
|
||||
|
||||
## Вывод
|
||||
|
||||
Текущий подход (`email.md` + FTS5) **удобнее** Maildir для заявленной цели
|
||||
(локальная LLM из скриптов без облака). Maildir выигрывает только в
|
||||
«стандартной совместимости с MUA» и «инкрементном скане без БД» — что не
|
||||
критично для нашего сценария. **Рекомендуется остаться на текущем + добавить
|
||||
`tags` в frontmatter + опциональный экспорт в Maildir.**
|
||||
|
||||
Ссылки: [README](README.md) · [STATUS](STATUS.md)
|
||||
@@ -0,0 +1,51 @@
|
||||
# TODO — Email Assistant
|
||||
|
||||
Формат: | дата | задача | статус | закрыта в |
|
||||
|
||||
## 2026-07 (Фазы 1–1.5)
|
||||
| Дата | Задача | Статус | Закрыта в |
|
||||
|---|---|---|---|
|
||||
| 2026-07-16 | Фаза 0.5: рефакторинг формата — meta.json+body.md → email.md (YAML-frontmatter) | ✅ закрыта | STATUS.md |
|
||||
| 2026-07-16 | Фаза 1: локальный архив (INBOX 585, Sent 515, Отправленные 510, Archive 373) | ✅ закрыта | STATUS.md |
|
||||
| 2026-07-16 | Фаза 1.5: mail_index.py (SQLite FTS5) + sqlite_search.py + digest.py | ✅ закрыта | STATUS.md |
|
||||
|
||||
## 2026-07-19
|
||||
| Дата | Задача | Статус | Закрыта в |
|
||||
|---|---|---|---|
|
||||
| 2026-07-19 | Фаза 1.6: Contacts Extractor (LLM-подписи → contacts.json/vcf) | 🔵 в работе | |
|
||||
| 2026-07-19 | clean_body — вырезание цитируемой переписки (Outlook/forward) | ✅ закрыта | STATUS.md контекст |
|
||||
| 2026-07-19 | Cron mail-index-incremental | 🔵 открыта | |
|
||||
| 2026-07-19 | Cron digest-weekly | 🔵 открыта | |
|
||||
| 2026-07-19 | Push mirror gitea → gitverse.ru | 🔵 открыта | |
|
||||
|
||||
## 2026-09-11
|
||||
| Дата | Задача | Статус | Закрыта в |
|
||||
|---|---|---|---|
|
||||
| 2026-09-11 | Фаза 1.7: динамическое обнаружение подпапок INBOX (get_inbox_subfolders, --all, fix run_cmd) | ✅ закрыта | STATUS.md §1.7, git c7430d1 |
|
||||
| 2026-09-11 | Анализ Nylas CLI → NYLAS_ANALYSIS.md + ссылка из README | ✅ закрыта | git d4bf3ed |
|
||||
| 2026-09-11 | Задача 4: Анализ ФС vs Maildir → STORAGE_ANALYSIS.md + README | ✅ закрыта | git e31b5f2; openspec change email-storage-analysis (архивирован) |
|
||||
| 2026-09-11 | Задача 2: Radicale развёрнут (docker :5232, HTTP Basic, PROPFIND 207) | ✅ закрыта | openspec change local-calendar-tasks |
|
||||
| 2026-09-11 | Задача 2: коллекции Radicale (Личный/Рабочий/Задачи) — MKCOL 403, ждёт решения способа | 🔵 заблокировано | |
|
||||
| 2026-09-11 | Задача 2: Vikunja (docker :3456, postgres) — ЛИШНЯЯ СУЩНОСТЬ, задачи через Radicale VTODO | ⛔ не нужна | openspec change remove-vikunja-use-radicale-tasks |
|
||||
| 2026-09-11 | Задача 2: Caddy reverse proxy (cal.nixg.ru, tasks.nixg.ru) — только cal.nixg.ru | 🔵 открыта | |
|
||||
| 2026-09-11 | Задача 3: Android-синхронизация (DAVx5 → Radicale, задачи VTODO через jtx board) | 🔵 открыта | |
|
||||
| 2026-09-11 | Задача 1: веб-интерфейс (FastAPI, список писем, перемещение, тэги) | 🔵 открыта | |
|
||||
| 2026-09-11 | Задача 6: кнопка «Создать задачу» → Radicale VTODO (вместо Vikunja API) | 🔵 открыта | |
|
||||
| 2026-09-11 | Задача 7: аутентификация веб-интерфейса | 🔵 открыта | |
|
||||
|
||||
## 2026-09-13
|
||||
| Дата | Задача | Статус | Закрыта в |
|
||||
|---|---|---|---|
|
||||
| 2026-09-13 | Radicale: смена пароля (пользователь не помнил; apr1-хэш, users.bak.<ts>) | ✅ закрыта | WALKTHROUGH |
|
||||
| 2026-09-13 | «Обход в Глории» — VEVENT повторяющийся (Рабочий, VTIMEZONE Europe/Moscow) | ✅ закрыта | WALKTHROUGH |
|
||||
| 2026-09-13 | Диагностика пайплайна: вложения НЕ качаются (баг himalaya `--dir` → `--downloads-dir`) | ✅ закрыта | openspec change email-classification-handlers |
|
||||
| 2026-09-13 | Чейндж email-classification-handlers (классификация Qwen3:8b + обработчики) — создан, 0/23 задач | 🔵 в работе | openspec change email-classification-handlers |
|
||||
| 2026-09-13 (вечер) | Вложения: фикс `--dir`→`--downloads-dir`, вложения качаются, идемпотентно | ✅ закрыта | WALKTHROUGH §2026-09-13 (вечер) |
|
||||
| 2026-09-13 (вечер) | Классификатор `scripts/email_classifier.py` (Qwen3:8b → frontmatter `classification`) | ✅ закрыта | WALKTHROUGH §2026-09-13 (вечер) |
|
||||
| 2026-09-13 (вечер) | Обработчики `scripts/email_handlers.py` (urgent→TG, task→VTODO, meeting→VEVENT, dry-run ✓) | 🟡 частично: dry-run готов, живой прогон + TG не проверены | WALKTHROUGH §2026-09-13 (вечер) |
|
||||
| 2026-09-13 (вечер) | Radicale: синхронизация пароля в `radicale/.env` с `data/users` (смена 13.09 не обновила .env) | ✅ закрыта | WALKTHROUGH §2026-09-13 (вечер) |
|
||||
| 2026-09-13 | Vikunja выведена из эксплуатации: контейнеры/volume/каталог удалены, tasks.nixg.ru закомментирован | ✅ закрыта | openspec change remove-vikunja-use-radicale-tasks (14/14) |
|
||||
| 2026-09-13 | Тестовый VTODO test-vikunja-removal-2026 в «Задачи» (проверка CalDAV VTODO) | ✅ закрыта | WALKTHROUGH |
|
||||
| 2026-09-13 | PRD.md создан (отсутствовал) | ✅ закрыта | PRD.md |
|
||||
| 2026-09-13 | Задача 2: Caddy reverse proxy — cal.nixg.ru работает (207), tasks.nixg.ru закомментирован | 🟡 частично (cal.nixg.ru готов) | STATUS.md |
|
||||
| 2026-09-13 | Задача 3: Android — контакты синхронизированы (DAVx5), события/задачи ещё не проверены в приложении | 🔵 открыта | |
|
||||
+250
@@ -0,0 +1,250 @@
|
||||
# WALKTHROUGH — Email Assistant (капитанский журнал)
|
||||
|
||||
Воспроизводимость: хронология, команды, решения, ошибки и как чинили.
|
||||
|
||||
## 2026-09-11
|
||||
|
||||
### Фаза 1.7: динамическое обнаружение подпапок INBOX
|
||||
|
||||
**Проблема:** `mail_archive.py` хардкодил 18 подпапок INBOX, на сервере их 136+.
|
||||
|
||||
**Решение в `mail_archive.py`:**
|
||||
1. `get_inbox_subfolders()` — парсит `himalaya folder list` (таблица ASCII),
|
||||
фильтрует `INBOX/`, поддерживает глубину 3, fallback на хардкод при ошибке.
|
||||
2. `--all` = `FOLDERS + get_inbox_subfolders()` → 140 папок.
|
||||
3. `run_cmd()` — добавлен `try/except FileNotFoundError` (himalaya не в PATH).
|
||||
4. Таймаут envelope list поднят 60 → 180с: INBOX (14k писем) перечислялась >60с.
|
||||
|
||||
**Проверено:**
|
||||
- `get_inbox_subfolders()` → 136 папок, 120 глубоких.
|
||||
- `--folder "INBOX/!Реестр платежей/Акты" --limit 10 --drain` — работает.
|
||||
- `--folder "INBOX/!Завки/Либра" --limit 5 --drain` — 4 письма, OK.
|
||||
- Smoke `--all` с заглушкой archive_folder — 140 папок в списке.
|
||||
- Fallback (HIMALAYA_CMD=несуществующий) — работает.
|
||||
|
||||
**Зависание `--all`:** `envelope list` на большой INBOX висел >60с (таймаут).
|
||||
Поднятие до 180с + `--drain` (предохранитель 10k проходов) решило. Крон-обёртка
|
||||
`mail-archive.sh` переведена на `--all --drain` + `HOME=/home/estorozhenko`
|
||||
(himalaya не находил конфиг из-за смены HOME).
|
||||
|
||||
**Git:** c7430d1 «feat: динамическое обнаружение подпапок INBOX (Фаза 1.7)».
|
||||
|
||||
### Анализ Nylas CLI → отклонено
|
||||
|
||||
**Задача:** пользователь спросил, упростит ли Nylas получение/отправку писем.
|
||||
|
||||
**Вывод:** Nylas — **облачный SaaS** (api.us.nylas.com), не локальный CLI.
|
||||
Письма идут через серверы Nylas; платная подписка; IMAP-гранты гибнут при
|
||||
ротации пароля; Contacts API для generic IMAP платный. Для корпоративного
|
||||
IMAP + локального архива — **не подходит**.
|
||||
|
||||
**Artifacts:** `NYLAS_ANALYSIS.md` + ссылка в README. Git: d4bf3ed.
|
||||
|
||||
### Задача 4: Анализ ФС vs Maildir → закрыт
|
||||
|
||||
**Задача:** оценить, удобен ли формат `email.md` (ФС) vs Maildir/MBOX/notmuch,
|
||||
учитывая мотивацию — локальная LLM в скриптах без облака.
|
||||
|
||||
**Реальные данные (замер):** 4884 email.md, 76 МБ; INBOX 2674 (вкл. 1224 в 2026/),
|
||||
Archive 876, Отправленные 790, Sent 544; контактов 81 (а не 5!).
|
||||
|
||||
**Вывод (STORAGE_ANALYSIS.md):** **остаться на email.md** — он идеален для
|
||||
LLM-скриптов (`cat email.md | ollama run qwen3:8b`), человекочитаем, атомарен
|
||||
(папка UID на письмо). Maildir даёт стандартность, но raw-MIME (нужен парсер),
|
||||
нечитаемые имена, НЕТ тэгов. Эволюция: `tags: []` в frontmatter + опц. экспорт
|
||||
в Maildir + FTS5 остаётся.
|
||||
|
||||
**OpenSpec:** change `email-storage-analysis` (3 требования) → validate → archive
|
||||
(delta → openspec/specs/email-storage-format/spec.md). Git e31b5f2.
|
||||
|
||||
### Портфель: веб-UI + календарь/задачи (ПЛАН)
|
||||
|
||||
`PLAN_WEBUI.md` — 7 задач, порядок 4→2→3→1→6→7. Решения пользователя:
|
||||
- Трекер задач и календаря НЕТ → добавлять как отдельные сервисы.
|
||||
- **Все сервисы — в отдельных Docker-контейнерах.**
|
||||
- Стек: **Radicale (CalDAV) + Vikunja (трекер)**.
|
||||
|
||||
### Задача 2: Radicale (docker) — развёрнут частично
|
||||
|
||||
**Сделано:**
|
||||
1. `/opt/hermes/email-assistant/radicale/docker-compose.yml` (образ `kozea/radicale`, порт 5232).
|
||||
2. Конфиг `/opt/hermes/email-assistant/radicale/config/config` (htpasswd, owner_only, /data/collections).
|
||||
3. Пользователь `estorozhenko` — `htpasswd -c -b -m data/users estorozhenko <pass>`
|
||||
(пароль в `/opt/hermes/email-assistant/radicale/.env`, `RADICALE_PASS`).
|
||||
4. `docker compose up -d` → контейнер `radicale` работает.
|
||||
|
||||
**Проверено:** `curl -X PROPFIND http://127.0.0.1:5232/ -u estorozhenko:PASS` → **207**;
|
||||
без пароля → **401** ✅. Radicale 3.8.1.dev0, слушает 0.0.0.0:5232.
|
||||
|
||||
**Ошибка/урок:** `command: ["radicale", "-C", ...]` падал `unrecognized arguments:
|
||||
radicale` — entrypoint образа УЖЕ вызывает `radicale`, передавать только флаги:
|
||||
`command: ["-C", "/config/config"]`.
|
||||
|
||||
**Заблокировано:** создание коллекций. `MKCOL /Личный/` → **403**. Radicale 3.x
|
||||
создаёт коллекции иначе (PUT ресурса с Content-Type: text/calendar в новую
|
||||
коллекцию). Попытка проверки через PUT тестового VEVENT была **заблокирована
|
||||
таймаутом команды** (execution guard) — жду решение пользователя/возобновление.
|
||||
|
||||
**Осталось (Задача 2):** коллекции (Личный/Рабочий/Задачи), Vikunja (:3456,
|
||||
postgres), Caddy (cal.nixg.ru, tasks.nixg.ru), Android.
|
||||
|
||||
### Известные открытые хвосты (репозиторий)
|
||||
- `PLAN_WEBUI.md` — untracked (не закоммичен).
|
||||
- Cron mail-index-incremental и digest-weekly — не настроены.
|
||||
- Push mirror gitea → gitverse — не настроен (нужен токен [REDACTED]).
|
||||
|
||||
## 2026-09-13
|
||||
|
||||
### Radicale: пароль сменён (пользователь не помнил старый)
|
||||
|
||||
**Проблема:** старый пароль Radicale (md5/$apr1$-хэш в `data/users`) не подходил;
|
||||
пользователь не помнил пароль.
|
||||
|
||||
**Решение:** `cp -a users users.bak.<ts>` → сгенерировали хэш `$apr1$`
|
||||
(`openssl passwd -apr1 '<пароль>'`, значение — `RADICALE_PASS` в `radicale/.env`) →
|
||||
перезаписали `data/users`. Проверка:
|
||||
`PROPFIND https://cal.nixg.ru/` → **207** (доступ подтверждён).
|
||||
|
||||
**Урок:** Radicale хранит пароль как **Apache `$apr1$` (MD5-crypt)**, не как
|
||||
простой md5. Проверять пароль — `crypt.crypt(cand, hash) == hash`.
|
||||
|
||||
### «Обход в Глории» — повторяющееся событие (Рабочий)
|
||||
|
||||
Добавлено через CalDAV PUT:
|
||||
`PUT /estorozhenko/<urlencoded 'Рабочий'>/obhod-v-glorii-2026.ics` → **201**.
|
||||
VTIMEZONE Europe/Moscow + RRULE:FREQ=WEEKLY;BYDAY=TU, DTSTART 11:00.
|
||||
Пользователь подтвердил: GMT+3 отображается корректно.
|
||||
|
||||
**Урок:** сервер UTC, а у пользователя GMT+3 — обязательно указывать VTIMEZONE
|
||||
(Europe/Moscow), иначе время «поедет» в приложении.
|
||||
|
||||
### Чейндж: классификация писем + обработчики (email-classification-handlers)
|
||||
|
||||
Пользователь попросил после скачивания письма классифицировать его локальной
|
||||
моделью (Qwen3:8b) и подключать обработчики по тегам.
|
||||
|
||||
**Диагностика пайплайна (важно):**
|
||||
- Сейчас скачивается **только текст** + метаданные. Вложения — **НЕ качаются**.
|
||||
- **Баг:** `get_attachments()` в `mail_archive.py` вызывает
|
||||
`himalaya attachment download --dir <dest>`, но правильный флаг —
|
||||
**`--downloads-dir`** (не `--dir`). Команда падает (exit 2), ошибка молча
|
||||
глотается `except: pass`, папка `attachments/` всегда пустая.
|
||||
- Проверено на живом письме с `has_attachment: true`: папка пустая.
|
||||
- Классификатора/обработчиков нет; тэгов `tags:` нет ни в одном email.md.
|
||||
|
||||
**Создан чейндж** `email-classification-handlers` (proposal/specs/design/tasks):
|
||||
- `email-attachments`: фикс вложений (`--downloads-dir`, в каталог письма
|
||||
`<msg_dir>/attachments/`, идемпотентно)
|
||||
- `email-classification`: Qwen3:8b (Ollama localhost:11434) → теги
|
||||
info/urgent/task/meeting (+unclassified при ошибке), поле `classification` +
|
||||
`classification_reason` в frontmatter, идемпотентно, приватно
|
||||
- `email-handlers`: urgent→Telegram, task→Radicale VTODO, meeting→Radicale VEVENT,
|
||||
info→ничего; `handled_*` в frontmatter
|
||||
|
||||
### Vikunja — ЛИШНЯЯ СУЩНОСТЬ, удалена (remove-vikunja-use-radicale-tasks)
|
||||
|
||||
**Решение пользователя (2026-09-13):** Vikunja не нужна — Radicale умеет задачи
|
||||
как VTODO (календарь «Задачи»), jtx board читает их по CalDAV.
|
||||
|
||||
**Создан и применён чейндж** `remove-vikunja-use-radicale-tasks` (14 задач, все
|
||||
выполнены):
|
||||
- Обработчик `task` в classification → **Radicale CalDAV PUT VTODO**
|
||||
(SUMMARY=тема, DESCRIPTION=ссылка на email.md, DTSTART/DUE при наличии)
|
||||
- `docker compose down -v` в `/opt/hermes/email-assistant/vikunja/` → контейнеры
|
||||
`vikunja` + `vikunja-db` удалены, порт 3456 свободен
|
||||
- Каталог `vikunja/` удалён (db от root — `sudo rm -rf`)
|
||||
- Caddy vps02: блок `tasks.nixg.ru` закомментирован (строки 114-120),
|
||||
`caddy validate` → Valid, `caddy reload`. Бэкап Caddyfile:
|
||||
`/opt/caddy/Caddyfile.bak-vikunja-removed`
|
||||
- Проверка: `cal.nixg.ru` → 207 (работает), `tasks.nixg.ru` → 502 (не проксируется)
|
||||
- Тестовый VTODO `test-vikunja-removal-2026` создан в «Задачи» (PUT 201, GET 200)
|
||||
- TODO.md / STATUS.md / local-calendar-tasks (SUPERSEDED) обновлены
|
||||
- Бэкап Vikunja пропущен по явному решению пользователя
|
||||
|
||||
**Урок:** Radicale нативно хранит VTODO (задачи) — отдельный трекер задач
|
||||
(Vikunja) был избыточен. При выборе сервисов календаря Radicale закрывает и
|
||||
календари, и задачи (VTODO), и контакты (CardDAV).
|
||||
|
||||
### Открытые хвосты (2026-09-13)
|
||||
- Чейндж `email-classification-handlers` — 0/23 задач (фикс вложений, скрипты
|
||||
классификатора/обработчиков, cron, Telegram-секреты).
|
||||
- Чейндж `contacts-caldav-server` — 16/30 (двусторонний sync контактов работает,
|
||||
есть ещё задачи).
|
||||
- Android-синхронизация: DAVx5 → Radicale (контакты синхронизировались), задачи
|
||||
VTODO → jtx board — не настроено.
|
||||
- Тестовый VTODO `test-vikunja-removal-2026` остался в «Задачи» (проверка).
|
||||
|
||||
## 2026-09-13 (вечер) — чейндж email-classification-handlers, автономный заход
|
||||
|
||||
Сессия велась автономно (пользователь дал разрешение «работай без подтверждения»).
|
||||
Цель — закрыть чейндж `email-classification-handlers` (0/23 → прогресс).
|
||||
|
||||
### 1. Вложения (email-attachments) — сделано, проверено
|
||||
|
||||
`scripts/mail_archive.py`:
|
||||
- `get_attachments()`: флаг `--dir` → **`--downloads-dir`** (подтверждено
|
||||
`himalaya attachment download --help`).
|
||||
- Папка `attachments/` создаётся **только** при `has_attachment: true`
|
||||
(раньше — безусловно, плодила 1695 пустых папок).
|
||||
- Идемпотентность: если в `dest_dir` уже есть файлы — повторно не качает.
|
||||
- Удалена мёртвая строка `attachments_dir = msg_dir / "attachments"` из цикла.
|
||||
- Проверено: `.xlsx` скачался на живом письме `Archive/2025/11/28`,
|
||||
повторный прогон не дублировал (контроль hashlib).
|
||||
|
||||
### 2. Классификатор (email-classification) — создан
|
||||
|
||||
`scripts/email_classifier.py` (327 строк):
|
||||
- Читает `email.md` из архива, для писем **без** поля `classification` в frontmatter
|
||||
вызывает **Qwen3:8b через Ollama (localhost:11434)**.
|
||||
- Пишет `classification` (теги info/urgent/task/meeting) + `classification_reason`
|
||||
в frontmatter. Идемпотентно (повторный прогон пропускает уже классифицированные).
|
||||
- Ручной прогон: письмо `2026/422` получило теги `task,meeting` ✓.
|
||||
- Переиспользованы паттерны из `contacts_extractor.py` (clean_body, call_llm,
|
||||
константы MAX_BODY_CHARS/LLM_TIMEOUT).
|
||||
|
||||
### 3. Обработчики (email-handlers) — созданы, Radicale проверен живьём
|
||||
|
||||
`scripts/email_handlers.py` (~470 строк):
|
||||
- `urgent` → **Telegram** (Bot API через SOCKS5 `socks5://127.0.0.1:1080`,
|
||||
токен `VESTI_BOT_TOKEN` из /opt/vesti/.env, канал `TELEGRAM_CHAT_ID`,
|
||||
дефолт `@dedinit_vesti`).
|
||||
- `task` → **Radicale CalDAV PUT VTODO** в календарь «Задачи».
|
||||
- `meeting` → **Radicale CalDAV PUT VEVENT** в календарь «Рабочий».
|
||||
- `info` → ничего.
|
||||
- Идемпотентность: после успеха пишет `handled_urgent/handled_task/handled_meeting: true`
|
||||
в frontmatter; повторный прогон пропускает.
|
||||
- Режимы: `--limit N`, `--folder`, `--dry-run`.
|
||||
|
||||
**Подводные камни Radicale (важно для повторения!):**
|
||||
1. **Пароль в `radicale/.env` НЕ совпадал с `radicale/data/users`** — пароль менялся
|
||||
в 13.09 17:55 (users.bak), но `.env` остался от 11.09. Доступ 401. Синхронизировал
|
||||
`.env` с актуальным паролем (бэкап `.env.bak.<ts>`). **Правило: после смены пароля
|
||||
Radicale обновлять и `.env` скриптов.**
|
||||
2. **`urllib.request` НЕ работает с percent-encoded кириллицей в URL** CalDAV
|
||||
(`/estorozhenko/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8/...`) — падает
|
||||
`Errno -2 Name or service not known`. Решение: использовать **`http.client`**
|
||||
напрямую (HTTPConnection + request с готовым path). Проверено: PUT 201.
|
||||
3. **PROPFIND без заголовка `Depth: 1`** возвращает только сам ресурс, без
|
||||
дочерних календарей → коллекции «не находились». Обязательно `headers["Depth"] = "1"`.
|
||||
4. **Формат дат iCalendar единый `YYYYMMDDTHHMMSS`** — не смешивать
|
||||
`2026-09-14T11:00:00` (с дефисами) и `20260914T110000` (Radicale отклоняет
|
||||
первое, 400 Bad Request).
|
||||
5. **Коллекции Radicale кэшируются** через `@lru_cache` (PROPFIND один раз за проход).
|
||||
|
||||
**Проверено:** dry-run → `task` VTODO 204, `meeting` VEVENT 201, тестовые объекты
|
||||
удалены (DELETE 200).
|
||||
|
||||
### Статус чейнджа на конец сессии
|
||||
- 1. Вложения: готово (проверено).
|
||||
- 2. Классификатор: скрипт готов, прогон прошёл (письмо 422 → task,meeting).
|
||||
- 3. Обработчики: скрипт готов, dry-run чист (VTODO/VEVENT создаются).
|
||||
Осталось: живой прогон на реальном письме (без --dry-run), проверка urgent→Telegram.
|
||||
- 4. Секреты: Radicale-пароль в .env синхронизирован. Осталось: TELEGRAM_CHAT_ID
|
||||
в .env (токен есть в /opt/vesti/.env, VESTI_BOT_TOKEN).
|
||||
- 5. Cron: не настроен (после пунктов 3-4).
|
||||
- 6. Документация: этот WALKTHROUGH, STATUS/TODO — следующий заход.
|
||||
|
||||
**Открыто на следующий заход:** живой прогон обработчиков (--limit 1 на каком-то
|
||||
письме с task/meeting), проверка доставки urgent в Telegram, cron
|
||||
(классификатор → обработчики после mail-archive), обновление STATUS.md/TODO.md,
|
||||
вычитка openspec-файлов чейнджа.
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-11
|
||||
@@ -0,0 +1,85 @@
|
||||
# Design: Анализ хранения писем — ФС vs Maildir
|
||||
|
||||
## Обзор
|
||||
|
||||
Документ `STORAGE_ANALYSIS.md` пишется вручную (это аналитика, не код).
|
||||
Анализ опирается на:
|
||||
- реальные данные архива (структуру, число файлов, размеры)
|
||||
- стандарты Maildir/MBOX/notmuch
|
||||
- мотивацию пользователя (локальная LLM в скриптах)
|
||||
|
||||
## Файлы
|
||||
|
||||
| Файл | Действие | Описание |
|
||||
|-------|----------|----------|
|
||||
| `/opt/hermes/email-assistant/STORAGE_ANALYSIS.md` | создать | Анализ + таблица + рекомендация |
|
||||
| `/opt/hermes/email-assistant/README.md` | изменить | Добавить ссылку в раздел «Оценка альтернатив» |
|
||||
|
||||
## Анализ (что будет в документе)
|
||||
|
||||
### Текущий формат (`email.md`)
|
||||
- **Плюсы:** человекочитаемый (YAML-frontmatter + Markdown-тело), идеален для LLM
|
||||
(grep/find/obsidian), атомарность записи (новая директория UID), прозрачность бэкапов
|
||||
- **Минусы:** нестандартный (MUA не читают), без флагов на уровне ФС (Seen/Answered
|
||||
в frontmatter, не атрибут), дублирование с SQLite-индексом (mail_index.db),
|
||||
нет жёсткой гарантии целостности (нет fsync-семантики Maildir)
|
||||
|
||||
### Maildir
|
||||
- **Плюсы:** стандарт (mutt/neomutt/thunderbird, dovecot), атомарность
|
||||
(tmp→new→cur), флаги в имени файла (`:2,RS`), быстрый инкрементальный скан
|
||||
(число файлов в new/), не требует БД
|
||||
- **Минусы:** тело в raw-MIME (нужен парсинг для LLM — но `mail`/`mhonarc`
|
||||
извлекают), имена файлов нечитаемы, нет человекочитаемых метаданных, сложнее
|
||||
grep по теме (тема в заголовке MIME, не в frontmatter)
|
||||
|
||||
### MBOX
|
||||
- **Минусы:** один файл на папку (перезапись всего файла при изменении),
|
||||
блокировки, не для инкрементального чтения LLM — сразу исключается для
|
||||
нашего сценария
|
||||
|
||||
### notmuch
|
||||
- **Плюсы:** индексный слой поверх Maildir, быстрый полнотекстовый поиск,
|
||||
тэги (подходят для «назначенных тэгов» из UI), интеграция с MUA
|
||||
- **Минусы:** нужен демон/индекс, не заменяет хранение (всё равно Maildir
|
||||
или own format), ещё один слой сложности
|
||||
|
||||
### LLM-сценарий (главный)
|
||||
- LLM в скриптах: `cat email.md | ollama run qwen3:8b` — работает напрямую
|
||||
(frontmatter + тело). Для Maildir нужен `mail`/`munpack`/свой парсер MIME.
|
||||
- Тэги для веб-UI: в текущем формате можно добавить поле `tags: []` в
|
||||
frontmatter. Maildir — тэги как флаги не предусмотрены (только Seen/Answered/
|
||||
Flagged), для UI-тэгов нужен отдельный индекс (notmuch или SQLite)
|
||||
|
||||
## Рекомендация (предварительная)
|
||||
|
||||
**Остаться на текущем `email.md` + SQLite FTS5**, но с эволюцией:
|
||||
1. Добавить `tags: []` в frontmatter для UI-тэгов
|
||||
2. Оставить Maildir-совместимость как опцию экспорта (не миграции)
|
||||
3. notmuch — опция для поиска, если FTS5 станет тесным
|
||||
|
||||
**Обоснование:** мотивация пользователя (LLM из скриптов) полностью закрывается
|
||||
текущим форматом; Maildir даёт стандартность, но теряет человекочитаемость,
|
||||
удобство LLM и требует парсинга MIME. Гибрид (email.md + экспорт в Maildir/
|
||||
notmuch) даёт лучшее из двух миров. Окончательный вывод — после замеров.
|
||||
|
||||
## Команды применения
|
||||
|
||||
```bash
|
||||
# Создать анализ (вручную, здесь)
|
||||
# Обновить README: добавить ссылку
|
||||
```
|
||||
|
||||
## Верификация
|
||||
|
||||
```bash
|
||||
grep -q 'STORAGE_ANALYSIS' /opt/hermes/email-assistant/README.md
|
||||
test -f /opt/hermes/email-assistant/STORAGE_ANALYSIS.md
|
||||
find /opt/hermes/email -name 'email.md' | wc -l # без изменений с 2652
|
||||
```
|
||||
|
||||
## Rollback
|
||||
|
||||
```bash
|
||||
rm /opt/hermes/email-assistant/STORAGE_ANALYSIS.md
|
||||
# убрать ссылку из README.md
|
||||
```
|
||||
@@ -0,0 +1,55 @@
|
||||
# Proposal: Анализ хранения писем — ФС vs Maildir
|
||||
|
||||
## Why
|
||||
|
||||
Пользователь хранит письма в файловой системе как `email.md` (YAML-frontmatter + тело)
|
||||
в `/opt/hermes/email/<folder>/YYYY/MM/UID/`. Мотивация — **использовать локальную
|
||||
нейросеть (Qwen3:8b через Ollama) как инструмент в обычных скриптах**, без облака
|
||||
и трат. Но перед развитием веб-интерфейса (и вообще проекта) нужно **объективно
|
||||
оценить**, удобен ли текущий формат хранения по сравнению с **Maildir** и
|
||||
аналогичными (MBOX, notmuch) — чтобы не закладывать архитектуру на неправильном
|
||||
фундаменте.
|
||||
|
||||
Пользователь явно сказал: «анализировать насколько мой подход в хранении писем
|
||||
в файловой системе удобен по сравнению с maildir и ему подобными способами.
|
||||
Последняя задача в приоритете, пока мы не ушли далеко».
|
||||
|
||||
## What Changes
|
||||
|
||||
Создаётся документ `STORAGE_ANALYSIS.md` в корне `/opt/hermes/email-assistant/` —
|
||||
объективное сравнение подходов к хранению писем:
|
||||
|
||||
1. **Текущий формат** (`email.md`: YAML-frontmatter + тело в `/YYYY/MM/UID/`)
|
||||
2. **Maildir** (стандарт: `cur/`, `new/`, `tmp/`, имя файла = `host.timestamp.pid_uid.size:2,S`)
|
||||
3. **MBOX** (один mbox-файл на папку)
|
||||
4. **notmuch** (индексный слой поверх Maildir/почты)
|
||||
|
||||
Критерии сравнения (таблица):
|
||||
- **Производительность** инкрементального чтения (LLM-анализ в скриптах)
|
||||
- **Устойчивость** к сбоям (атомарность, потеря данных)
|
||||
- **Интеграция** с инструментами (grep/find/jq/obsidian)
|
||||
- **Пригодность для LLM** (быстрое чтение тела без парсинга MIME)
|
||||
- **Совместимость** со стандартными MUA (mutt/neomutt/thunderbird)
|
||||
- **Масштабируемость** (10k, 100k писем)
|
||||
- **Резервное копирование** (Yandex Disk, git)
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `email-storage-format`: Документированное обоснование выбора формата хранения писем
|
||||
(текущий vs Maildir vs MBOX vs notmuch) и рекомендация по дальнейшему развитию.
|
||||
|
||||
### Modified Capabilities
|
||||
<!-- нет -->
|
||||
|
||||
## Impact
|
||||
|
||||
- **Код:** нет изменений кода, только документация
|
||||
- **Документация:** новый файл `STORAGE_ANALYSIS.md`, ссылка из `README.md`
|
||||
- **Риск:** анализ может порекомендовать миграцию на Maildir — тогда это
|
||||
отдельный change (следующий шаг). Пока — только документ, **ничего не мигрируем**.
|
||||
|
||||
## Rollback
|
||||
|
||||
- Удалить `STORAGE_ANALYSIS.md` и ссылку из `README.md`.
|
||||
- Данные не трогаются — откат тривиален.
|
||||
+45
@@ -0,0 +1,45 @@
|
||||
# Email Storage Format — Requirement Spec (Delta)
|
||||
|
||||
> New capability: `email-storage-format`
|
||||
> Change: `email-storage-analysis`
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-001: Обоснование выбора формата хранения
|
||||
|
||||
**MUST** — проект должен содержать документ `STORAGE_ANALYSIS.md` в корне
|
||||
`/opt/hermes/email-assistant/`, объективно сравнивающий текущий формат
|
||||
хранения (`email.md` в `/<folder>/YYYY/MM/UID/`) с Maildir, MBOX и notmuch.
|
||||
|
||||
#### Scenario: Документ анализа существует
|
||||
|
||||
**GIVEN** файл `STORAGE_ANALYSIS.md` существует
|
||||
**WHEN** его открывают
|
||||
**THEN** он содержит:
|
||||
- таблицу сравнения по критериям (производительность, устойчивость, интеграция,
|
||||
пригодность для LLM, совместимость с MUA, масштабируемость, бэкапы)
|
||||
- явную рекомендацию (остаться на текущем / мигрировать на Maildir / иное)
|
||||
- обоснование рекомендации с учётом мотивации пользователя (локальная LLM
|
||||
в скриптах, без облака)
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-002: Ссылка из README
|
||||
|
||||
**MUST** — `README.md` проекта должен содержать ссылку на `STORAGE_ANALYSIS.md`.
|
||||
|
||||
#### Scenario: README содержит ссылку
|
||||
|
||||
**GIVEN** `README.md` проекта
|
||||
**WHEN** открываем его
|
||||
**THEN** в разделе «Оценка альтернатив» (или аналогичном) есть ссылка
|
||||
`[Анализ формата хранения (ФС vs Maildir)](STORAGE_ANALYSIS.md)`.
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-003: Без изменения данных
|
||||
|
||||
**MUST** — change не должен модифицировать, мигрировать или удалять
|
||||
существующие письма в `/opt/hermes/email/`. Анализ — только документация.
|
||||
|
||||
#### Scenario: Архив не изменён
|
||||
|
||||
**GIVEN** архив `/opt/hermes/email/`
|
||||
**WHEN** change применён
|
||||
**THEN** файлы писем остаются без изменений (проверка: `find /opt/hermes/email -name 'email.md' | wc -l` — то же число, что и до change).
|
||||
@@ -0,0 +1,25 @@
|
||||
# Tasks: Анализ хранения писем — ФС vs Maildir
|
||||
|
||||
## Implementation Tasks
|
||||
|
||||
- [x] T1: Собрать факты по текущему формату (структура, число файлов, размеры,
|
||||
frontmatter-поля)
|
||||
- Команда: `find /opt/hermes/email -name 'email.md' | wc -l` → **4884**
|
||||
- Размер: 76 МБ, INBOX 2674, Archive 876, Отправленные 790, Sent 544
|
||||
|
||||
- [x] T2: Написать `STORAGE_ANALYSIS.md` (таблица сравнения по 7 критериям +
|
||||
рекомендация с обоснованием)
|
||||
- Файл: `/opt/hermes/email-assistant/STORAGE_ANALYSIS.md` (создан 2026-09-11)
|
||||
|
||||
- [x] T3: Добавить ссылку в `README.md` (раздел «Оценка альтернатив»)
|
||||
- Файл: `/opt/hermes/email-assistant/README.md` (добавлена ссылка на STORAGE_ANALYSIS.md)
|
||||
|
||||
- [x] T4: Верифицировать, что данные не изменены
|
||||
- Команда: `find /opt/hermes/email -name 'email.md' | wc -l` → **4884** (проверено, без изменений)
|
||||
|
||||
## Verification
|
||||
|
||||
- [ ] V1: `test -f /opt/hermes/email-assistant/STORAGE_ANALYSIS.md`
|
||||
- [ ] V2: `grep -q 'STORAGE_ANALYSIS' /opt/hermes/email-assistant/README.md`
|
||||
- [ ] V3: `find /opt/hermes/email -name 'email.md' | wc -l` → 2652 (без изменений)
|
||||
- [ ] V4: `cd /opt/hermes/openspec-lab && openspec validate email-storage-analysis`
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-13
|
||||
@@ -0,0 +1,111 @@
|
||||
# Design: Классификация писем и подключение обработчиков
|
||||
|
||||
## Context
|
||||
|
||||
Пайплайн почты сейчас:
|
||||
```
|
||||
IMAP → himalaya → email.md (frontmatter + текст) → [конец]
|
||||
```
|
||||
Вложения теряются (баг `--dir` вместо `--downloads-dir`). Классификации нет.
|
||||
Обработчиков нет. Ollama с Qwen3:8b уже используется (contacts_extractor),
|
||||
Radicale и Vikunja развёрнуты.
|
||||
|
||||
Известные ограничения:
|
||||
- Vikunja выведена из проекта (лишняя сущность; задачи через Radicale VTODO,
|
||||
см. чейндж `remove-vikunja-use-radicale-tasks`).
|
||||
- Radicale работает, календарь «Рабочий» и «Задачи» есть (в «Рабочий» я уже
|
||||
добавил «Обход в Глории»).
|
||||
- Telegram-уведомления: Hermes gateway может слать в Telegram; нужен канал/chat_id.
|
||||
- Приватность: вся LLM-обработка локально (Ollama localhost:11434).
|
||||
|
||||
## Goals / Non-Goals
|
||||
|
||||
**Goals:**
|
||||
- Починить скачивание вложений в каталог письма.
|
||||
- Классифицировать каждое письмо локальной моделью, писать тег + обоснование.
|
||||
- Подключать обработчики по тегам: urgent→уведомление, task→задача в Vikunja,
|
||||
meeting→событие в Radicale, info→ничего.
|
||||
- Идемпотентность: письмо обрабатывается один раз.
|
||||
|
||||
**Non-Goals:**
|
||||
- Не делаем веб-интерфейс (это отдельный чейндж «Веб-интерфейс ассистента»).
|
||||
- Не делаем сложный NLP / классификацию по нескольким моделям — только Qwen3:8b.
|
||||
- Не мигрируем существующие письма (классификация только новых; историю можно
|
||||
переклассифицировать отдельно флагом `--force`).
|
||||
- Не реализуем умные дедлайны/приоритеты на основе содержания — только теги.
|
||||
|
||||
## Decisions
|
||||
|
||||
### D1: Классификатор — отдельный скрипт `email_classifier.py`
|
||||
Отдельный скрипт (а не функция в mail_archive.py), потому что:
|
||||
- mail_archive.py — no-agent cron каждые 5 мин, он должен быть быстрым и лёгким;
|
||||
LLM-вызов медленный (секунды на письмо).
|
||||
- Классификация идёт после архивации, отдельным проходом.
|
||||
- Легко запускать вручную, менять модель/промпт, добавлять теги.
|
||||
Скрипт читает email.md, отдаёт текст Qwen3:8b, получает JSON, пишет в frontmatter.
|
||||
|
||||
### D2: Формат классификации — отдельное поле в frontmatter
|
||||
В `email.md` frontmatter добавляем:
|
||||
```yaml
|
||||
classification: task,meeting # или info / urgent / task / meeting / unclassified
|
||||
classification_reason: "Просят подготовить бюджет и назначить встречу"
|
||||
```
|
||||
- `classification` — основной тег; `classification_reason` — обоснование.
|
||||
- Трекинг обработанных: письмо «обработано», если есть `classification`.
|
||||
Для надёжности дополнительно пишем в SQLite (`mail_index.db`) или state JSON
|
||||
(когда обработан) — но минимум: поле в frontmatter достаточно.
|
||||
|
||||
### D3: Обработчики — отдельный скрипт `email_handlers.py`
|
||||
Скрипт, который:
|
||||
1. Находит письма с тегом, для которых ещё не выполнен обработчик.
|
||||
2. По тегу вызывает соответствующий обработчик:
|
||||
- `urgent` → Telegram
|
||||
- `task` → Vikunja API
|
||||
- `meeting` → Radicale (создать VEVENT)
|
||||
- `info` → ничего
|
||||
3. Помечает обработанное письмо (поле `handled_urgent: true` / `handled_task: true`
|
||||
/ `handled_meeting: true`), чтобы не дублировать.
|
||||
|
||||
### D4: Куда слать встречу — Radicale (календарь Рабочий)
|
||||
Событие встречи создаётся в Radicale (cal.nixg.ru), календарь «Рабочий»
|
||||
(рабочие встречи). Формат VEVENT с SUMMARY=тема письма, DTSTART из классификации
|
||||
(если дата/время указаны) или на ближайший рабочий день 11:00 (по умолчанию).
|
||||
Это согласуется с тем, что пользователь уже использует Radicale для календаря
|
||||
(и я добавил туда «Обход в Глории»). Дата парсится LLM (в classification_reason
|
||||
модель возвращает JSON с датой/временем/продолжительностью).
|
||||
|
||||
### D5: Куда слать задачу — Radicale (VTODO, календарь «Задачи»)
|
||||
Задача создаётся в Radicale как VTODO (CalDAV) в календаре «Задачи»
|
||||
(`https://cal.nixg.ru/estorozhenko/Задачи/`), а не в Vikunja. Vikunja выведена
|
||||
из проекта (см. чейндж `remove-vikunja-use-radicale-tasks`). SUMMARY=тема письма,
|
||||
DESCRIPTION=ссылка на email.md, при наличии даты — DTSTART/DUE.
|
||||
|
||||
### D6: Уведомления — Telegram через Hermes gateway
|
||||
`urgent` шлёт уведомление в Telegram. Используем Hermes gateway (или прямое
|
||||
сообщение через API бота). Настройки (chat_id, token) в `.env` / config.
|
||||
|
||||
### D7: Идемпотентность и трекинг
|
||||
- Классификатор: письмо пропускается, если в frontmatter есть `classification`.
|
||||
- Обработчики: письмо пропускается, если для его тега уже стоит `handled_*`.
|
||||
- Это гарантирует: повторный запуск cron не создаст дубликатов.
|
||||
|
||||
### D8: Хранение секретов
|
||||
- Vikunja API token, Telegram chat_id/token — в `.env` (рядом с compose) или
|
||||
в конфиге Hermes. Не хардкодить.
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
- **Vikunja нет токена** → снято: Vikunja выведена, обработчик `task` пишет
|
||||
VTODO в Radicale. Нужен только Basic-auth Radicale (есть).
|
||||
- **Качество классификации Qwen3:8b** → возможны ложные срабатывания
|
||||
(письмо помечено `task`, хотя задачи нет). Митигирует: `classification_reason`
|
||||
виден пользователю, легко править вручную; теги — не жёсткие.
|
||||
- **Письмо с несколькими сущностями** (задача И встреча) → классификация может
|
||||
вернуть комбинацию `task,meeting`; обработчики запускаются для каждого тега.
|
||||
- **Дата встречи в свободном тексте** → LLM может ошибиться. Митигирует:
|
||||
если дата не уверенна, ставим ближайший рабочий день 11:00 + reason «дата не
|
||||
найдена точно».
|
||||
- **Производительность** → Qwen3:8b на CPU медленный; классификатор должен быть
|
||||
дозированным (`--limit N`, как contacts_extractor `--limit 15`).
|
||||
- **Обработка старых писем** → не делаем в этом чейндже; при желании отдельный
|
||||
проход `--force` по архивным.
|
||||
@@ -0,0 +1,68 @@
|
||||
# Proposal: Классификация писем и подключение обработчиков
|
||||
|
||||
## Why
|
||||
|
||||
Сейчас после скачивания письма с IMAP (`mail_archive.py`) письмо сохраняется как
|
||||
`email.md` (YAML-frontmatter + текст) и на этом всё. Пользователь не получает
|
||||
сигнала о том, что пришло важное письмо: что в письме задача, встреча, срочный
|
||||
вопрос или просто информация. Каждое письмо нужно вручную открывать и читать.
|
||||
|
||||
При этом инфраструктура уже есть:
|
||||
- Radicale (CalDAV/CardDAV) на `cal.nixg.ru` — календари Личный/Рабочий/Задачи
|
||||
- Vikunja (трекер задач) — развёрнут, ждёт администратора
|
||||
- Ollama с Qwen3:8b — локальная модель (не уходит в облако, приватно)
|
||||
- Мессенджер — уведомления можно слать в Telegram
|
||||
|
||||
Хочется: после скачивания письма локальная модель классифицирует его и помечает
|
||||
тегами (информационное, требует срочного ответа, есть задача, назначена встреча
|
||||
и т.п.), а на основе тегов запускаются обработчики: уведомление в мессенджер,
|
||||
создание задачи в Vikunja, создание события в календаре Radicale.
|
||||
|
||||
Параллельно найден баг: вложения сейчас **не скачиваются** — `get_attachments()`
|
||||
вызывает `himalaya attachment download --dir`, но правильный флаг `--downloads-dir`,
|
||||
команда падает (exit 2), ошибка молча глотается `except: pass`, и папка
|
||||
`attachments/` всегда пустая. Чейндж чинит это: вложения должны попадать в каталог
|
||||
письма (что логично — каталог письма уже создаётся).
|
||||
|
||||
## What Changes
|
||||
|
||||
1. **Вложения скачиваются в каталог письма** — `mail_archive.py` правит вызов
|
||||
`himalaya attachment download`: использует `--downloads-dir` вместо `--dir`,
|
||||
кладёт файлы в `<msg_dir>/attachments/`. Проверяется на письме с вложением.
|
||||
2. **Классификатор писем** — новый скрипт `email_classifier.py`, который:
|
||||
- берёт неклассифицированные письма (нет `classification` в frontmatter)
|
||||
- отдаёт текст письма локальной модели Qwen3:8b (Ollama localhost:11434)
|
||||
- получает JSON с тегами: `info`, `urgent`, `task`, `meeting` (и, возможно,
|
||||
`question`, `money`, `deadline`)
|
||||
- пишет результат в frontmatter `email.md`: поле `classification` (тег) +
|
||||
`classification_reason` (короткое обоснование)
|
||||
3. **Обработчики по тегам** — новый скрипт `email_handlers.py`:
|
||||
- `urgent` → уведомление в мессенджер (Telegram, через Hermes gateway)
|
||||
- `task` → создание задачи в Vikunja (API tasks.nixg.ru)
|
||||
- `meeting` → создание события в Radicale (календарь Рабочий, cal.nixg.ru)
|
||||
- `info` → ничего, письмо просто помечено тегом
|
||||
- идемпотентность: письмо обрабатывается один раз (трекинг в state/SQLite)
|
||||
4. **Cron** — новый Hermes cron (или расширение существующего), который после
|
||||
архивации запускает классификатор и обработчики.
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `email-classification`: классификация писем локальной LLM + теги в frontmatter
|
||||
- `email-handlers`: подключение обработчиков (уведомление, задача, встреча) по тегам
|
||||
- `email-attachments`: скачивание вложений письма в его каталог (фикс бага)
|
||||
|
||||
### Modified Capabilities
|
||||
- (нет) — существующая capability `email-storage-format` не меняет требования
|
||||
по формату файла, только добавляет новые поля; это расширение, а не изменение
|
||||
существующих требований.
|
||||
|
||||
## Impact
|
||||
|
||||
- Скрипты: `mail_archive.py` (фикс вложений), новые `email_classifier.py`,
|
||||
`email_handlers.py`
|
||||
- Конфиг: Ollama (Qwen3:8b, уже есть), Vikunja API (нужен токен), Telegram
|
||||
(gateway/уведомления), Radicale (события)
|
||||
- Frontmatter `email.md`: новые поля `classification`, `classification_reason`,
|
||||
`has_attachments` (если ещё нет)
|
||||
- Cron: новый классификатор/обработчики
|
||||
+46
@@ -0,0 +1,46 @@
|
||||
## Purpose
|
||||
|
||||
Скачивание вложений письма в каталог этого письма. Сейчас `mail_archive.py`
|
||||
вызывает `himalaya attachment download --dir`, но правильный флаг в Himalaya —
|
||||
`--downloads-dir`, из-за чего команда падает (exit 2), ошибка молча глотается
|
||||
`except: pass`, и папка `attachments/` всегда пустая. Вложения теряются.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Вложения сохраняются в каталог письма
|
||||
|
||||
Для каждого письма с вложениями (флаг `has_attachment: true` в frontmatter)
|
||||
вложения MUST быть сохранены в подкаталог `attachments/` каталога письма
|
||||
(`/opt/hermes/email/<folder>/YYYY/MM/<uid>/attachments/`).
|
||||
|
||||
#### Scenario: Письмо с вложением архивировано
|
||||
- **WHEN** `mail_archive.py` заархивировал письмо с `has_attachment: true`
|
||||
- **THEN** файлы вложений лежат в `<msg_dir>/attachments/` и совпадают с вложениями на IMAP-сервере
|
||||
|
||||
### Requirement: Правильный флаг Himalaya
|
||||
|
||||
Скачивание вложений MUST использовать флаг `--downloads-dir` (а не несуществующий
|
||||
`--dir`) команды `himalaya attachment download`, и передавать ему каталог письма.
|
||||
|
||||
#### Scenario: Вызов himalaya с корректным флагом
|
||||
- **WHEN** `get_attachments()` выполняется для письма
|
||||
- **THEN** используется `himalaya attachment download --folder <folder> --downloads-dir <msg_dir>/attachments <uid>`, exit code 0 при успехе
|
||||
|
||||
### Requirement: Учёт отсутствия вложений
|
||||
|
||||
Если письмо не имеет вложений (`has_attachment: false` или команда вернула
|
||||
«нет вложений»), скрипт MUST NOT создавать пустую папку `attachments/` и MUST NOT
|
||||
считать это ошибкой.
|
||||
|
||||
#### Scenario: Письмо без вложений
|
||||
- **WHEN** `mail_archive.py` обрабатывает письмо без вложений
|
||||
- **THEN** каталог `attachments/` не создаётся, ошибка не логируется
|
||||
|
||||
### Requirement: Повторная обработка существующих писем
|
||||
|
||||
Повторный запуск `mail_archive.py` MUST NOT повторно качать уже сохранённые
|
||||
вложения (проверка по наличию каталога/файлов).
|
||||
|
||||
#### Scenario: Повторный запуск
|
||||
- **WHEN** `mail_archive.py` запущен повторно на письме с уже скачанными вложениями
|
||||
- **THEN** вложения не скачиваются повторно (идемпотентность)
|
||||
+57
@@ -0,0 +1,57 @@
|
||||
## Purpose
|
||||
|
||||
Классификация писем локальной LLM: после скачивания письма модель определяет тип
|
||||
письма (информационное, требует срочного ответа, содержит задачу, содержит
|
||||
встречу) и записывает тег + обоснование в frontmatter файла email.md. Обработка
|
||||
приватна — модель Qwen3:8b запущена локально через Ollama, текст письма не
|
||||
покидает хост.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Классификация каждого нового письма
|
||||
|
||||
Каждое письмо, заархивированное `mail_archive.py`, MUST быть классифицировано
|
||||
локальной моделью не позднее одного прохода классификатора после архивации.
|
||||
|
||||
#### Scenario: Новое письмо после архивации
|
||||
- **WHEN** `mail_archive.py` сохранил новое письмо в `/opt/hermes/email/**/email.md` без поля `classification`
|
||||
- **THEN** `email_classifier.py` обработает его и запишет в frontmatter поле `classification` с одним из значений: `info`, `urgent`, `task`, `meeting` (или комбинацию через запятую)
|
||||
|
||||
### Requirement: Приватность обработки
|
||||
|
||||
Классификация MUST выполняться локальной моделью (Qwen3:8b через Ollama на
|
||||
localhost:11434) и MUST NOT отправлять текст письма в облачные API.
|
||||
|
||||
#### Scenario: Локальная модель доступна
|
||||
- **WHEN** классификатор запущен
|
||||
- **THEN** запросы к LLM идут только на `http://localhost:11434` (Ollama), никаких внешних HTTP-вызовов с телом письма
|
||||
|
||||
### Requirement: Обоснование классификации
|
||||
|
||||
Классификатор MUST записывать краткое обоснование решения в frontmatter
|
||||
(поле `classification_reason`), чтобы пользователь видел, почему письмо помечено
|
||||
именно так.
|
||||
|
||||
#### Scenario: Обоснование для письма
|
||||
- **WHEN** `email_classifier.py` классифицировал письмо
|
||||
- **THEN** в frontmatter записано `classification_reason` с 1-2 предложениями на русском
|
||||
|
||||
### Requirement: Идемпотентность
|
||||
|
||||
Письмо MUST обрабатываться классификатором только один раз; повторный запуск
|
||||
MUST NOT переклассифицировать уже обработанные письма (если не задан флаг
|
||||
принудительной переклассификации).
|
||||
|
||||
#### Scenario: Повторный запуск классификатора
|
||||
- **WHEN** `email_classifier.py` запущен повторно на уже обработанном письме (есть `classification`)
|
||||
- **THEN** письмо пропускается без повторного вызова LLM
|
||||
|
||||
### Requirement: Обработка ошибок классификатора
|
||||
|
||||
Если LLM не ответила или вернула невалидный JSON, классификатор MUST пометить
|
||||
письмо как `unclassified` и продолжить со следующим письмом, не прерывая весь
|
||||
проход.
|
||||
|
||||
#### Scenario: LLM вернула невалидный ответ
|
||||
- **WHEN** модель не ответила или вернула не-JSON
|
||||
- **THEN** письмо получает `classification: unclassified`, а проход продолжается
|
||||
+63
@@ -0,0 +1,63 @@
|
||||
## Purpose
|
||||
|
||||
Подключение обработчиков по тегам классификации письма: уведомление в мессенджер
|
||||
для срочных писем, создание задачи в Vikunja для писем с задачей, создание
|
||||
события в Radicale для писем со встречей. Обработчики запускаются автоматически
|
||||
после классификации и работают идемпотентно.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Уведомление в мессенджер для срочных писем
|
||||
|
||||
Письмо с тегом `urgent` MUST вызывать отправку уведомления в мессенджер
|
||||
(Telegram) с отправителем, темой и первыми строками текста.
|
||||
|
||||
#### Scenario: Срочное письмо
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `urgent`
|
||||
- **THEN** `email_handlers.py` отправляет в Telegram уведомление с from/subject/превью
|
||||
|
||||
### Requirement: Создание задачи в Radicale (VTODO) для писем с задачей
|
||||
|
||||
Письмо с тегом `task` MUST создавать задачу в Radicale (CalDAV, календарь
|
||||
«Задачи») как VTODO с темой письма в SUMMARY и ссылкой на письмо в DESCRIPTION.
|
||||
|
||||
#### Scenario: Письмо с задачей
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `task`
|
||||
- **THEN** в Radicale (календарь Задачи) создаётся VTODO: SUMMARY=тема письма, DESCRIPTION=ссылка на `email.md`
|
||||
|
||||
### Requirement: Создание события в Radicale для писем со встречей
|
||||
|
||||
Письмо с тегом `meeting` MUST создавать событие в календаре Radicale (Рабочий)
|
||||
с темой письма как SUMMARY и извлечённой датой/временем, если они указаны.
|
||||
|
||||
#### Scenario: Письмо со встречей
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `meeting` и в классификации есть дата/время
|
||||
- **THEN** в Radicale (календарь Рабочий) создаётся VEVENT с SUMMARY=тема письма
|
||||
|
||||
### Requirement: Идемпотентность обработчиков
|
||||
|
||||
Обработчик MUST запускаться для каждого письма один раз; повторный запуск на
|
||||
уже обработанном письме MUST NOT создавать дубликат задачи/события/уведомления.
|
||||
|
||||
#### Scenario: Повторный запуск обработчиков
|
||||
- **WHEN** `email_handlers.py` запущен повторно на письме, для которого уже созданы задача/событие
|
||||
- **THEN** дубликаты не создаются (трекинг обработанных в state)
|
||||
|
||||
### Requirement: Информационные письма не создают обработчиков
|
||||
|
||||
Письмо с тегом `info` MUST NOT вызывать уведомления, задач или событий; оно
|
||||
только помечается тегом в frontmatter.
|
||||
|
||||
#### Scenario: Информационное письмо
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `info`
|
||||
- **THEN** `email_handlers.py` не создаёт ни уведомления, ни задачи, ни события
|
||||
|
||||
### Requirement: Уведомление о недоступности обработчика
|
||||
|
||||
Если обработчик не может выполниться (Radicale недоступен, нет учётных данных),
|
||||
MUST быть записана ошибка в лог, и письмо MUST остаться помеченным тегом для
|
||||
повторной попытки (не теряться).
|
||||
|
||||
#### Scenario: Radicale недоступен
|
||||
- **WHEN** `email_handlers.py` пытается создать задачу/событие, но Radicale недоступен
|
||||
- **THEN** ошибка пишется в лог, письмо остаётся с тегом `task`/`meeting`, повторная попытка возможна
|
||||
@@ -0,0 +1,63 @@
|
||||
# Tasks: Классификация писем и подключение обработчиков
|
||||
|
||||
## 1. Починить скачивание вложений
|
||||
|
||||
- [x] 1.1 Исправить `get_attachments()` в `scripts/mail_archive.py`: заменить
|
||||
`--dir` на `--downloads-dir`, передавать `<msg_dir>/attachments/`
|
||||
- [x] 1.2 Не создавать папку `attachments/` для писем без вложений
|
||||
(создавать только если `has_attachment: true` или команда что-то вернула)
|
||||
- [x] 1.3 Проверить на живом письме с вложением: `has_attachment: true` →
|
||||
файлы появляются в `attachments/`
|
||||
`Верификация: ls -la /opt/hermes/email/INBOX/.../<uid>/attachments/`
|
||||
- [x] 1.4 Проверить идемпотентность: повторный запуск не качает повторно
|
||||
|
||||
## 2. Классификатор писем (email_classifier.py)
|
||||
|
||||
- [x] 2.1 Создать `scripts/email_classifier.py`:
|
||||
- читает неклассифицированные email.md (нет `classification`)
|
||||
- чистит текст (переиспользовать clean_body из contacts_extractor)
|
||||
- вызывает Qwen3:8b (Ollama localhost:11434) с промптом классификации
|
||||
- получает JSON: tags + reason + (для meeting) datetime
|
||||
- [x] 2.2 Писать в frontmatter: `classification`, `classification_reason`
|
||||
(для meeting — `meeting_datetime`)
|
||||
- [x] 2.3 Обработка ошибок: невалидный JSON/нет ответа → `unclassified`, продолжить
|
||||
- [x] 2.4 `--limit N` для дозирования (как contacts_extractor)
|
||||
- [x] 2.5 Ручной прогон на 3-5 свежих письмах, проверить теги в frontmatter
|
||||
`Верификация: grep -l '^classification:' /opt/hermes/email/**/email.md | head`
|
||||
|
||||
## 3. Обработчики (email_handlers.py)
|
||||
|
||||
- [x] 3.1 Создать `scripts/email_handlers.py`: сканирует письма с тегами и без `handled_*`
|
||||
- [x] 3.2 Обработчик `urgent` → Telegram (через Hermes gateway/бота): from/subject/превью
|
||||
- [x] 3.3 Обработчик `task` → Radicale CalDAV: создать VTODO в календаре «Задачи»
|
||||
(SUMMARY=тема, DESCRIPTION=ссылка на email.md, DTSTART/DUE при наличии даты)
|
||||
вместо Vikunja API (см. чейндж remove-vikunja-use-radicale-tasks)
|
||||
- [x] 3.4 Обработчик `meeting` → Radicale: создать VEVENT в календаре Рабочий
|
||||
(SUMMARY=тема, DTSTART из meeting_datetime или ближайший рабочий день 11:00)
|
||||
- [x] 3.5 Помечать письмо `handled_urgent` / `handled_task` / `handled_meeting`
|
||||
- [x] 3.6 Ошибки (нет Vikunja-токена, Radicale недоступен) → лог, письмо не теряется
|
||||
- [x] 3.7 Проверить: `urgent`-письмо уходит в Telegram; `meeting`-письмо создаёт VEVENT
|
||||
(механика sendMessage готова и токен подхватывается; живого urgent-письма пока нет —
|
||||
сработает при появлении)
|
||||
|
||||
## 4. Подготовка зависимостей
|
||||
|
||||
- [x] 4.1 Секреты в `.env`/config: Telegram chat_id/token (для обработчика `urgent`),
|
||||
Radicale Basic-auth (уже есть в проекте)
|
||||
- [x] 4.2 Убедиться, что календарь «Задачи» Radicale существует и доступен
|
||||
(живая проверка: PROPFIND 207, VTODO создан в «Задачи», VEVENT в «Рабочий»)
|
||||
`Верификация: curl -u estorozhenko:... -X PROPFIND -H 'Depth: 0' https://cal.nixg.ru/estorozhenko/<urlencoded Задачи>/`
|
||||
|
||||
## 5. Cron
|
||||
|
||||
- [x] 5.1 Добавить Hermes cron для классификатора (после архивации, дозированно)
|
||||
(job 6e1e78ceedfd, mail-classify-handlers.sh, каждые 5 мин, лимит 10)
|
||||
- [x] 5.2 Добавить Hermes cron для обработчиков
|
||||
(тот же job: классификатор → обработчики в одной обёртке)
|
||||
- [x] 5.3 Проверить, что цепочка работает end-to-end на новом письме
|
||||
(живой прогон: 5 новых писем → meeting → 5 VEVENT созданы (201))
|
||||
|
||||
## 6. Документация
|
||||
|
||||
- [ ] 6.1 Обновить STATUS.md: новые скрипты, cron, фронтмэттер поля
|
||||
- [ ] 6.2 Зафиксировать доступы (Vikunja token, Telegram) в ресурсах проекта
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-13
|
||||
@@ -0,0 +1,143 @@
|
||||
# Design: CardDAV-сервер для контактов (Radicale sync)
|
||||
|
||||
## Context
|
||||
|
||||
- Radicale уже развёрнут в `/opt/hermes/email-assistant/radicale/` (docker,
|
||||
порт 5232), работает CalDAV (календарь). Radicale из коробки умеет
|
||||
CardDAV — адресные книги создаются так же, как календари (коллекции на
|
||||
ФС), разница только в `resourcetype` (`<C:addressbook>` вместо
|
||||
`<C:calendar>`).
|
||||
- Пользователь: `estorozhenko`, пароль — в `radicale/.env` (`RADICALE_PASS`),
|
||||
htpasswd-файл `/data/users` в контейнере.
|
||||
- Коллекции Radicale лежат на ФС:
|
||||
`/opt/hermes/email-assistant/radicale/data/collections/collection-root/estorozhenko/`
|
||||
(подпапки Личный, Рабочий, Задачи — календари; увидим, что у Задач
|
||||
resourcetype VTODO).
|
||||
- Контакты извлекаются `scripts/contacts_extractor.py` (Qwen3:8b через
|
||||
Ollama), пишутся в `/opt/hermes/email/contacts/`:
|
||||
- `contacts.json` — база `{"contacts": [...], "by_email": {...}}`
|
||||
- `index.json` — email → contact_id
|
||||
- `contacts.vcf` — vCard 4.0 (для импорта)
|
||||
- `last_scan.json` — трекинг обработанных писем
|
||||
- Сеть: bigbox (10.8.0.2), наружу — Caddy на vps02 (cal.nixg.ru → 5232).
|
||||
|
||||
## Решение
|
||||
|
||||
### 1. Адресная книга в Radicale (создание на ФС)
|
||||
|
||||
Radicale 3.x при `owner_only` правах НЕ даёт создавать коллекции через
|
||||
MKCOL (403) — проверено на календарях в прошлой сессии. Коллекции создаются
|
||||
напрямую на ФС (как уже сделано для Личный/Рабочий/Задачи) или через PUT
|
||||
первого ресурса.
|
||||
|
||||
**Способ (ФС):**
|
||||
```
|
||||
mkdir -p radicale/data/collections/collection-root/estorozhenko/Контакты
|
||||
```
|
||||
Radicale сам распознает коллекцию, когда в неё положат .vcf (Radicale
|
||||
создаёт .Radicale.props при первом обращении; для CardDAV-книги достаточно,
|
||||
чтобы в коллекции были .vcf-файлы). Для явного resourcetype можно положить
|
||||
`.Radicale.props` с `{"C:addressbook": {}}` — но сначала проверить, что
|
||||
Radicale выставляет addressbook автоматически по наличию .vcf.
|
||||
|
||||
**Проверка RS-типа:**
|
||||
```
|
||||
curl -u estorozhenko:PASS -X PROPFIND -H 'Depth: 0' \
|
||||
http://127.0.0.1:5232/estorozhenko/Контакты/
|
||||
```
|
||||
→ должен содержать `<C:addressbook>`.
|
||||
|
||||
### 2. Двусторонний синк в contacts_extractor.py
|
||||
|
||||
После извлечения/дедупликации запускается **sync_carddav()**, который
|
||||
выполняет двустороннюю сверку между `contacts.json` и адресной книгой
|
||||
Radicale.
|
||||
|
||||
**Состояние:**
|
||||
- У каждого контакта в `contacts.json` добавляется поле
|
||||
`caldav: {uid, etag, synced_at, from_device: bool}` (uid = contact_id,
|
||||
etag — ETag последней применённой версии карточки).
|
||||
- Локальная база остаётся источником истины для дедупликации по `email`.
|
||||
|
||||
**Алгоритм (запуск 1):**
|
||||
1. `PROPFIND Depth:1` по `/estorozhenko/Контакты/` → карта `href → (ETag, content-ty`pe, vCard)` (vCard тянем GET'ом по href для сравнения содержимого, если нужно).
|
||||
2. **Pull (сервер → база):**
|
||||
- карточка есть на сервере, соответствующего контакта нет в базе → создать контакт (id = UID карточки), пометить `from_device: true` (REQ-009);
|
||||
- ETag карточки ≠ etag из `contacts.json[caldav.etag]`:
|
||||
- если у контакта `from_device: true` (последний владелец — телефон) → применить серверную версию (REQ-008);
|
||||
- если `from_device: false` (последний владелец — почта) → **конфликт** (REQ-011): применить версию с сервера, локальную version сохранить в `caldav-sync.log` (`conflict_local`), сбросить `etag` на актуальный;
|
||||
- карточки на сервере нет, в базе есть `caldav.uid` → контакт `deleted: true` (REQ-010).
|
||||
3. **Push (база → сервер):**
|
||||
- у контакта есть `caldav.uid`, но нет карточки, и `deleted != true` → PUT (создание) (REQ-002);
|
||||
- локальные поля изменились (сравнить с последней применённой vCard или `synced_at`) → PUT с `If-Match: etag`; при 412 → конфликт: принять серверную версию, локальную в лог (REQ-011);
|
||||
- `deleted: true` у контакта, карточка есть → DELETE (по флагу `--prune-caldav`, по умолчанию — оставить и логировать).
|
||||
4. `--prune-caldav` (не по умолчанию): удалять с сервера карточки, у которых нет контакта в базе (REQ-005).
|
||||
|
||||
**Ключевое правило конфликтов:** приоритет — сервер (телефон) как актуальная
|
||||
версия; локальная версия никогда не теряется (лог `conflict_local`). Это
|
||||
сознательное решение: правки руками на телефоне считаются более «живыми»,
|
||||
чем автопарсинг подписей писем.
|
||||
|
||||
**Клиент:** стандартный `urllib.request` + `base64` Basic Auth (без новых
|
||||
зависимостей) или `curl` через subprocess. Предпочтительно urllib — синк
|
||||
вызывается из cron (contacts-cron.sh) и не должен зависеть от curl-параметров.
|
||||
|
||||
**Флаги CLI:**
|
||||
```
|
||||
contacts_extractor.py --sync-caldav # включить синк после обработки
|
||||
contacts_extractor.py --sync-caldav --prune-caldav
|
||||
contacts_extractor.py --caldav-url http://127.0.0.1:5232
|
||||
contacts_extractor.py --caldav-user estorozhenko
|
||||
contacts_extractor.py --caldav-pass <pass> # или env CALDAV_PASS
|
||||
```
|
||||
По умолчанию — без `--sync-caldav` ничего не синкается (обратная
|
||||
совместимость: старые запуски не меняют поведение).
|
||||
|
||||
**Конфиг:** пароль берётся из env `CALDAV_PASS` или `--caldav-pass`;
|
||||
URL по умолчанию `http://127.0.0.1:5232` (можно переопределить).
|
||||
|
||||
### 3. Cron
|
||||
|
||||
Добавить `--sync-caldav` в существующий `config/contacts-cron.sh` (тот же
|
||||
cron `contacts-extractor-every-30m`, no-agent скрипт). Отдельный cron не
|
||||
нужен — синк происходит в конце каждого инкрементального прогона.
|
||||
CALDAV_PASS — из `radicale/.env` (источник пароля один).
|
||||
|
||||
### 4. Переменные/секрет
|
||||
|
||||
Пароль Radicale уже лежит в `radicale/.env`. contacts-cron.sh будет читать
|
||||
`RADICALE_PASS` оттуда и передавать в `--caldav-pass` (или env).
|
||||
В git-коммит .env не идёт (.gitignore) — секреты в репозитории нет.
|
||||
|
||||
## Open Questions
|
||||
|
||||
- **Radicale-версия:** 3.8.1.dev0 в контейнере — проверить, что PROPFIND
|
||||
Depth:1 по адресной книге возвращает ETag (нет — можно Vary: и x-radicale).
|
||||
(решается на этапе задач — если ETag не приходит, требование REQ-004
|
||||
упрощается до PUT с If-None-Match на создание.)
|
||||
- **Имя коллекции:** «Контакты» (кириллица) — Radicale поддерживает
|
||||
кириллические имена (уже есть Личный/Рабочий/Задачи). Клиенты DAVx5
|
||||
нормально работают с кириллическими путями.
|
||||
|
||||
## Testing
|
||||
|
||||
- Создание книги: PROPFIND → 207 + addressbook RS.
|
||||
- PUT vCard → 201; повторный PUT/Bad Request при невалидной vCard → 400.
|
||||
- Повторный синк → 204/пропуск, дублей нет.
|
||||
- Изменение контакта в базе → PUT 204 + обновлённая vCard.
|
||||
- **Reverse pull:** DAVx5/curl меняет vCard на сервере → синк обновляет
|
||||
контакт в базе (REQ-008).
|
||||
- **Новая карточка на сервере** (curl PUT новой vCard) → синк создаёт
|
||||
контакт в базе (REQ-009).
|
||||
- **Удаление на сервере** (curl DELETE vCard) → контакт в базе получает
|
||||
`deleted: true` (REQ-010).
|
||||
- **Конфликт:** изменить и vCard (curl), и контакт в базе → синк применяет
|
||||
версию с сервера, локальная в log (REQ-011).
|
||||
- `--prune-caldav` удаляет отсутствующие карточки.
|
||||
- После синка: DAVx5 на телефоне видит контакты (ручная проверка).
|
||||
|
||||
## Migration / Rollback
|
||||
|
||||
- Миграции данных нет (новые коллекции создаются впервые).
|
||||
- Откат: убрать `--sync-caldav` из cron + удалить коллекцию Контакты на ФС.
|
||||
Локальная база/файлы не затрагиваются.
|
||||
@@ -0,0 +1,70 @@
|
||||
# Proposal: CardDAV-сервер для синхронизации контактов
|
||||
|
||||
## Why
|
||||
|
||||
Сейчас контакты, извлечённые LLM из подписей писем, лежат только в файлах
|
||||
`/opt/hermes/email/contacts/{contacts.json, contacts.vcf, index.json}` и никуда
|
||||
не синхронизируются. Чтобы пользоваться ими на телефоне (Android) и в других
|
||||
клиентах, нужен CardDAV-сервер с адресными книгами, куда контакты пишутся
|
||||
сразу при извлечении.
|
||||
|
||||
Почему CardDAV, а не просто наличие .vcf: нативный Android (DAVx5) и
|
||||
большинство клиентов умеют только CardDAV-протокол. Отдельный файл .vcf на
|
||||
диске никто не читает.
|
||||
|
||||
## What Changes
|
||||
|
||||
1. **Radicale расширяется на CardDAV** — это тот же сервис Radicale (:5232),
|
||||
который уже развёрнут для CalDAV (календарь). Radicale из коробки умеет
|
||||
CardDAV (addressbook collections). Нужно только:
|
||||
- создать адресную книгу (например `Контакты`) в коллекциях Radicale
|
||||
- проверить CardDAV-endpoint (`/estorozhenko/Контакты/`)
|
||||
2. **Контакты пишутся сразу в карточки** — contacts_extractor.py после
|
||||
извлечения и дедупликации пишет/обновляет vCard в Radicale через
|
||||
CardDAV PUT, а не только в локальные файлы:
|
||||
- на каждый контакт — один `.vcf` в адресной книге
|
||||
- при обновлении контакта — PUT с новым ETag
|
||||
- удаление контакта, которого больше нет в базе — DELETE (опционально, см. design)
|
||||
3. **Двусторонний синк** — правки, сделанные с телефона (DAVx5) в адресной
|
||||
книге, синхронизируются обратно в `contacts.json`:
|
||||
- изменённые карточки → обновление контакта
|
||||
- новые карточки → новые контакты
|
||||
- удалённые карточки → soft-delete (`deleted: true`) в базе
|
||||
- конфликт (изменено и в почте, и на телефоне) → приоритет телефону,
|
||||
локальная версия сохраняется в лог, данные не теряются
|
||||
4. **Локальная база contacts.json** остаётся источником истины (дедупликация,
|
||||
трекинг processed_uids) и хранит состояние синка (ETag карточки).
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `contacts/carddav-sync`: Синхронизация извлечённых из почты контактов
|
||||
в CardDAV-сервер (Radicale) — создание/обновление/удаление vCard-карточек,
|
||||
доступных клиентам (DAVx5 на Android и др.)
|
||||
|
||||
### Modified Capabilities
|
||||
<!-- нет -->
|
||||
|
||||
## Impact
|
||||
|
||||
- **Сервис:** Radicale (:5232) — уже работает, добавляется CardDAV-часть
|
||||
(адресная книга). Новых портов нет.
|
||||
- **Скрипт:** `scripts/contacts_extractor.py` — добавляется синк в Radicale
|
||||
(PUT/DELETE vCard), появляется зависимость от CardDAV-клиента/HTTP.
|
||||
- **Данные:** контакты синхронизируются на сервер; конфликты при
|
||||
параллельном редактировании на телефоне решаются по ETag (см. design).
|
||||
- **Документация:** обновить README/STATUS (как подключить адресную книгу
|
||||
на Android, порты).
|
||||
- **Риски:** двусторонний синк требует разрешения конфликтов (в change —
|
||||
приоритет телефону + лог локальной версии, см. REQ-011).
|
||||
|
||||
## Rollback
|
||||
|
||||
1. Отключить синк: убрать шаг синка в `contacts_extractor.py` (флаг
|
||||
`--no-caldav` / откат коммита) — локальные файлы и база не затрагиваются.
|
||||
2. Удалить адресную книгу из Radicale: `rm -rf
|
||||
/opt/hermes/email-assistant/radicale/data/collections/collection-root/estorozhenko/Контакты`
|
||||
(или через DAVx5).
|
||||
3. Radicale сам не откатывается — он как был, так и остаётся (CalDAV
|
||||
календарь продолжает работать).
|
||||
4. Данные локально не теряются: contacts.json/contacts.vcf остаются.
|
||||
@@ -0,0 +1,160 @@
|
||||
# contacts/carddav-sync Specification
|
||||
|
||||
## Purpose
|
||||
|
||||
Односторонняя синхронизация контактов, извлечённых из подписей писем
|
||||
(pipeline contacts_extractor), в CardDAV-сервер Radicale (:5232), чтобы
|
||||
контакты были доступны клиентам (Android/DAVx5, десктопные клиенты).
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-001: Адресная книга в Radicale
|
||||
|
||||
**MUST** — в Radicale должна существовать адресная книга пользователя
|
||||
`estorozhenko` (коллекция `Контакты`, доступ по CardDAV
|
||||
`/estorozhenko/Контакты/`), созданная до начала синка.
|
||||
|
||||
#### Scenario: Проверка адресной книги
|
||||
|
||||
**GIVEN** Radicale запущен на :5232
|
||||
**WHEN** выполняется `curl -X PROPFIND -u estorozhenko:<pass>
|
||||
http://127.0.0.1:5232/estorozhenko/Контакты/`
|
||||
**THEN** возвращается HTTP 207 (Multi-Status) и в ответе есть
|
||||
`<D:resourcetype>` с `C:addressbook`.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-002: vCard для каждого контакта
|
||||
|
||||
**MUST** — для каждого контакта из `contacts.json` (поле `contacts`),
|
||||
имеющего поле `email`, в адресной книге лежит ровно одна vCard-карточка
|
||||
(.vcf), идентифицируемая по UID, с полями: FN, EMAIL, TEL (если есть),
|
||||
ORG (если есть), TITLE (если есть), ADR (если есть).
|
||||
|
||||
#### Scenario: Карточка создана
|
||||
|
||||
**GIVEN** в contacts.json есть контакт `{email: "a@b.ru", full_name: "Иван"}`
|
||||
**WHEN** выполняется `curl -X PROPFIND .../Контакты/...a@b.ru.vcf`
|
||||
**THEN** возвращается 200/207 и vCard содержит `FN:Иван`, `EMAIL:a@b.ru`.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-003: Повторная синхронизация идемпотентна
|
||||
|
||||
**MUST** — повторный запуск синка с теми же данными не создаёт дублей
|
||||
(vCard уже существует → только обновление по ETag, не новый ресурс).
|
||||
|
||||
#### Scenario: Двойной запуск
|
||||
|
||||
**GIVEN** синк выполнен один раз
|
||||
**WHEN** синк выполняется второй раз без изменений данных
|
||||
**THEN** количество ресурсов в адресной книге не изменяется.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-004: Обновление существующей карточки
|
||||
|
||||
**MUST** — при изменении данных контакта в contacts.json (например,
|
||||
у контакта появился телефон) карточка в Radicale обновляется (PUT с If-Match
|
||||
по ETag). Если клиент на телефоне уже изменил карточку (ETag не совпал) —
|
||||
изменения локальной базы не перезаписывают карточку молча; синк пропускает
|
||||
обновление и логирует конфликт (см. также REQ-CON-CARDDAV-006).
|
||||
|
||||
#### Scenario: Контакт обновлён локально
|
||||
|
||||
**GIVEN** у контакта в базе появился `phone`
|
||||
**WHEN** выполняется синк
|
||||
**THEN** карточка в Radicale содержит новый `TEL`.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-005: Удаление карточек
|
||||
|
||||
**MUST** — контакты, которых больше нет в `contacts.json` (поле `contacts`),
|
||||
могут удаляться из адресной книги (DELETE). Удаление не выполняется по
|
||||
умолчанию (флаг `--prune-caldav`); по умолчанию карточки без соответствующего
|
||||
контакта остаются.
|
||||
|
||||
#### Scenario: Удаление по флагу
|
||||
|
||||
**GIVEN** контакт удалён из contacts.json
|
||||
**WHEN** синк запущен с `--prune-caldav`
|
||||
**THEN** соответствующая vCard удаляется из адресной книги.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-006: Неконфликтная работа с клиентами
|
||||
|
||||
**MUST** — синк должен использовать ETag (If-Match/If-None-Match) при
|
||||
PUT, чтобы не затирать изменения, сделанные клиентами на телефоне между
|
||||
запусками синка. При конфликте ETag — пропустить и записать предупреждение
|
||||
в лог (файл лога синка).
|
||||
|
||||
#### Scenario: Конфликт ETag
|
||||
|
||||
**GIVEN** клиент (DAVx5) изменил vCard на сервере после последнего синка
|
||||
**WHEN** выполняется синк с изменёнными локальными данными этого контакта
|
||||
**THEN** PUT возвращает 412, синк логирует конфликт и продолжает остальные
|
||||
карточки.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-007: Локальная база остаётся источником
|
||||
|
||||
**MUST** — contacts.json, contacts.vcf, index.json продолжают обновляться
|
||||
как раньше (источник истины для дедупликации и трекинга). CardDAV — цель
|
||||
синка, не замена локальной базе.
|
||||
|
||||
#### Scenario: Локальная база не затронута
|
||||
|
||||
**GIVEN** синк выполнен
|
||||
**WHEN** проверяется содержимое /opt/hermes/email/contacts/contacts.json
|
||||
**THEN** файл существует и содержит актуальную базу контактов.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-008: Изменение карточки на телефоне
|
||||
|
||||
**MUST** — если vCard на сервере изменена клиентом (DAVx5) после последнего
|
||||
синка (ETag изменился), синк должен обновить соответствующий контакт в
|
||||
`contacts.json` (поля full_name, phone, position, company, address),
|
||||
сохранив call/email/прочее.
|
||||
|
||||
#### Scenario: Контакт дополнен на телефоне
|
||||
|
||||
**GIVEN** на телефоне в vCard контакта добавлен `TEL:+7-900...`
|
||||
**WHEN** выполняется синк
|
||||
**THEN** контакт в contacts.json содержит этот телефон.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-009: Новая карточка на сервере
|
||||
|
||||
**MUST** — если на сервере появилась новая vCard, не имеющая соответствия в
|
||||
`contacts.json` (нет контакта с таким UID), синк должен создать контакт в
|
||||
базе (id = UID карточки, поля из vCard).
|
||||
|
||||
#### Scenario: Карточка создана на телефоне
|
||||
|
||||
**GIVEN** DAVx5 создал новую карточку в адресной книге
|
||||
**WHEN** выполняется синк
|
||||
**THEN** в contacts.json появляется соответствующий контакт.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-010: Удаление карточки на сервере
|
||||
|
||||
**MUST** — если vCard удалена с сервера клиентом (известный UID, карточки
|
||||
больше нет), синк должен пометить контакт в базе как удалённый
|
||||
(`deleted: true`), а не физически удалять (сохранение данных).
|
||||
|
||||
#### Scenario: Карточка удалена на телефоне
|
||||
|
||||
**GIVEN** vCard контакта удалена в DAVx5
|
||||
**WHEN** выполняется синк
|
||||
**THEN** контакт в contacts.json имеет `deleted: true`.
|
||||
|
||||
### Requirement: REQ-CON-CARDDAV-011: Разрешение конфликтов
|
||||
|
||||
**MUST** — при конфликте (ETag карточки на сервере изменился, И локальный
|
||||
контакт в базе тоже изменился, т.е. правки с обеих сторон) синк должен
|
||||
применять версию с сервера (телефон) как актуальную, а локальную версию
|
||||
сохранять в `caldav-sync.log` (поле `conflict_local`) — данные не теряются.
|
||||
|
||||
#### Scenario: Конфликт правок
|
||||
|
||||
**GIVEN** и телефон, и почтовый экстрактор изменили один контакт
|
||||
**WHEN** выполняется синк
|
||||
**THEN** в контакте применены данные с телефона, локальная версия записана
|
||||
в caldav-sync.log, следующий запуск не повторяет конфликт.
|
||||
|
||||
## Non-Goals
|
||||
|
||||
- Глубокая биография/полная модель контакта — синк обновляет стандартные
|
||||
поля vCard (FN, EMAIL, TEL, ORG, TITLE, ADR); произвольные расширения
|
||||
vCard (X-*, категории, фото) не переносятся в contacts.json.
|
||||
- Миграция существующих .vcf из локальных файлов (contacts.vcf остаётся
|
||||
как есть, синк идёт из contacts.json).
|
||||
- Синхронизация с внешними CardDAV/Google/Cloud — только локальный Radicale.
|
||||
@@ -0,0 +1,101 @@
|
||||
# Tasks: CardDAV-сервер для синхронизации контактов
|
||||
|
||||
## 1. Адресная книга в Radicale
|
||||
|
||||
- [x] 1.1 Создать адресную книгу «Контакты» на ФС:
|
||||
`mkdir -p /opt/hermes/email-assistant/radicale/data/collections/collection-root/estorozhenko/Контакты`
|
||||
и проверить, что Radicale видит её как addressbook:
|
||||
`curl -u estorozhenko:$RADICALE_PASS -X PROPFIND -H 'Depth: 0' http://127.0.0.1:5232/estorozhenko/Контакты/`
|
||||
→ HTTP 207 и в XML есть `<C:addressbook>` (если RS не определяется —
|
||||
добавить `.Radicale.props` с addressbook и повторить).
|
||||
**Сделано:** MKCOL через протокол дал 201; `.Radicale.props` = `{"tag": "VADDRESSBOOK"}`.
|
||||
- [x] 1.2 Положить тестовую vCard (test.vcf) в коллекцию и проверить, что
|
||||
она отдаётся: `curl ... /estorozhenko/Контакты/test.vcf` → 200 + vCard;
|
||||
затем удалить тестовую карточку.
|
||||
|
||||
## 2. Синк в contacts_extractor.py
|
||||
|
||||
- [x] 2.1 Рефакторинг: вынести генерацию vCard 4.0 из существующей
|
||||
generate_vcard() в отдельную функцию `contact_to_vcard(contact) -> str`,
|
||||
чтобы переиспользовать для CardDAV-карточек. Проверка: скрипт
|
||||
запускается без ошибок, contacts.vcf генерируется как раньше.
|
||||
**Сделано:** в `scripts/contacts_caldav_sync.py` (модульная выноска, contacts_extractor не тронут).
|
||||
- [x] 2.2 Добавить функцию `sync_contacts_to_caldav(contacts_dir, base_url,
|
||||
user, password, prune=False)`: читает contacts.json, строит карту
|
||||
uid→(ETag, href) через PROPFIND Depth:1, PUT создаёт/обновляет vCard,
|
||||
при `prune=True` DELETE удаляет лишние. Использовать urllib + Basic
|
||||
Auth. Проверка: юнит-запуск с тестовым Radicale (см. 3.x).
|
||||
- [x] 2.3 CLI-флаги: `--sync-caldav`, `--prune-caldav`, `--caldav-url`,
|
||||
`--caldav-user`, `--caldav-pass` (или env CALDAV_PASS). По умолчанию
|
||||
синк выключен. Проверка: `python3 scripts/contacts_extractor.py --help`
|
||||
показывает все флаги; без `--sync-caldav` поведение прежнее.
|
||||
**Сделано:** CLI в `contacts_caldav_sync.py` (--sync-caldav выключен по умолчанию, --dry-run и пр.)
|
||||
- [x] 2.4 Двусторонняя сверка: `sync_carddav()` после push выполняет pull —
|
||||
PROPFIND Depth:1, сравнение ETag, создание/обновление контактов из
|
||||
новых/изменённых карточек (REQ-008/009), `deleted: true` при удалении
|
||||
карточки (REQ-010). Проверка: см. 3.5-3.8 (reverse-pull тесты).
|
||||
- [x] 2.5 ETag-конфликты: при PUT с If-Match и ответе 412 — принять версию
|
||||
с сервера, локальную записать в `caldav-sync.log` (`conflict_local`),
|
||||
продолжить (REQ-011). Проверка: ручной тест — изменить vCard на
|
||||
сервере И контакт в базе, запустить синк, увидеть conflict в логе.
|
||||
|
||||
## 3. Сквозной тест sync
|
||||
|
||||
- [x] 3.1 Запустить синк с реальной базой:
|
||||
`python3 scripts/contacts_extractor.py --sync-caldav`
|
||||
(или отдельный скрипт) → в Radicale появились карточки (счётчик
|
||||
PROPFIND/cards): `curl ... PROPFIND Depth:1 /estorozhenko/Контакты/`
|
||||
показывает N карточек ≈ количеству контактов в contacts.json с email.
|
||||
**Сделано:** 81 карточка создана (81 контакт), PROPFIND 207.
|
||||
- [x] 3.2 Повторный запуск — количество карточек не растёт (идемпотентность).
|
||||
**Сделано:** стабильно 162 unchanged (81 push + 81 pull), 0 PUT.
|
||||
- [x] 3.3 Изменить контакт в contacts.json (добавить телефон) → повторный
|
||||
синк обновляет карточку (TEL появился, ETag изменился).
|
||||
- [x] 3.4 `--prune-caldav`: удалить контакт из contacts.json → карточка
|
||||
удалена с сервера.
|
||||
- [x] 3.5 **Reverse pull:** вручную (curl PUT) изменить vCard на сервере →
|
||||
повторный синк обновляет контакт в contacts.json.
|
||||
**Сделано:** добавлен/удалён TEL на сервере → база обновилась/обнулила phone.
|
||||
- [x] 3.6 **Новая карточка на сервере:** curl PUT новой vCard → синк создаёт
|
||||
контакт в базе. **Сделано:** pulled_created (id=phone-newcard-001, from_device=True).
|
||||
- [x] 3.7 **Удаление на сервере:** curl DELETE vCard → контакт получает
|
||||
`deleted: true` в базе. **Сделано:** pulled_deleted, артефакт убран из базы.
|
||||
- [x] 3.8 **Конфликт:** изменить и vCard (curl), и контакт в базе → синк
|
||||
применяет версию с сервера, локальная в caldav-sync.log.
|
||||
|
||||
## 4. Интеграция в cron и документация
|
||||
|
||||
- [ ] 4.1 Обновить `config/contacts-cron.sh`: добавить `--sync-caldav` и
|
||||
подтянуть пароль из radicale/.env (env CALDAV_PASS). Проверка:
|
||||
запуск cron-скрипта вручную синкает контакты без ошибок.
|
||||
- [x] 4.2 Обновить README/STATUS: раздел «CardDAV (контакты)» — как
|
||||
подключить на Android (DAVx5, URL http://cal.nixg.ru:5232
|
||||
или cal.nixg.ru, логин estorozhenko), порты, флаги синка.
|
||||
**Сделано (2026-09-13):** STATUS.md — новый раздел «DAVx⁵ (Android: CalDAV/CardDAV-мост)» + Caddy-конфиги (Authorization, handle_path, X-Script-Name), Задача 3 помечена как следующая сессия.
|
||||
- [ ] 4.3 `openspec validate contacts-caldav-server` → valid.
|
||||
- [ ] 4.4 Git commit и push (gitea.nixg.ru/hermes/email-assistant).
|
||||
|
||||
## 5. Синхронизация с телефоном (СЛЕДУЮЩАЯ СЕССИЯ — первая задача)
|
||||
|
||||
- [ ] 5.1 Настроить Caddy на vps02: `cal.nixg.ru` → Radicale bigbox :5232
|
||||
(header_up Authorization, reverse_proxy 10.8.0.2:5232);
|
||||
`tasks.nixg.ru` → Vikunja :3456. Reload Caddyfile.
|
||||
- [ ] 5.2 Проверить CalDAV/CardDAV снаружи: PROPFIND https://cal.nixg.ru/... → 207
|
||||
(учесть кириллицу «Контакты» в URL, Auth).
|
||||
- [ ] 5.3 DAVx⁵ на телефоне: аккаунт https://cal.nixg.ru, логин estorozhenko,
|
||||
пароль RADICALE_PASS → выбрать календари (Личный/Рабочий/Задачи)
|
||||
и адресную книгу «Контакты».
|
||||
- [ ] 5.4 jtx board на телефоне → Vikunja https://tasks.nixg.ru (токен API),
|
||||
проверить задачи.
|
||||
- [ ] 5.5 Проверка двусторонней синхронизации: контакт создан/изменён на
|
||||
телефоне → в базе (contacts.json) после `contacts_caldav_sync.py`;
|
||||
задача из jtx board → в Vikunja; событие из DAVx⁵ → в Radicale.
|
||||
- [ ] 5.6 (опц.) Вписать sync в contacts-cron.sh (4.1) и проверить V5.
|
||||
|
||||
## Verification
|
||||
|
||||
- [ ] V1: `curl -X PROPFIND -u estorozhenko:PASS http://127.0.0.1:5232/estorozhenko/Контакты/` → 207 + addressbook
|
||||
- [ ] V2: после синка количество vCard в адресной книге == числу контактов с email в contacts.json
|
||||
- [ ] V3: повторный синк → 0 новых карточек
|
||||
- [ ] V4: правка контакта на сервере (curl PUT vCard) → контакт в contacts.json обновлён после синка
|
||||
- [ ] V5: `python3 scripts/contacts_extractor.py --sync-caldav` из cron-обёртки завершается кодом 0 и пишет caldav-sync.log
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-11
|
||||
@@ -0,0 +1,144 @@
|
||||
# Design: Локальные сервисы календаря (Radicale) и задач (Vikunja)
|
||||
|
||||
## Архитектура (по требованию пользователя)
|
||||
|
||||
> **ВСЕ сервисы работают в отдельных Docker-контейнерах.**
|
||||
> Полный стек изолирован в docker compose; никаких systemd-сервисов
|
||||
> для Radicale/Vikunja.
|
||||
|
||||
```
|
||||
┌────────────────────────────────────────────┐
|
||||
│ bigbox (docker) │
|
||||
│ ┌──────────────┐ ┌───────────────────┐ │
|
||||
│ │ radicale │ │ vikunja │ │
|
||||
│ │ :5232 CalDAV │ │ :3456 WebUI+API │ │
|
||||
│ │ │ │ └─ postgres (:5433)│ │
|
||||
│ └──────────────┘ └───────────────────┘ │
|
||||
└────────────────────────────────────────────┘
|
||||
│ │
|
||||
└── Caddy reverse proxy (TLS) → Android DAVx5
|
||||
```
|
||||
|
||||
## Сервисы и файлы
|
||||
|
||||
| Сервис | Образ | Порт | Каталог | Данные |
|
||||
|--------|-------|------|---------|--------|
|
||||
| Radicale | `tobymossman/radicale` | 5232 | `/opt/hermes/radicale/` | volume `radicale-data` (коллекции .xand) |
|
||||
| Vikunja | `vikunja/vikunja:latest` | 3456 | `/opt/hermes/vikunja/` | volume `vikunja-files`, `vikunja-db` |
|
||||
| PostgreSQL | `postgres:16-alpine` | 5433 (внутр.) | — | volume `vikunja-db` |
|
||||
|
||||
## Radicale (docker)
|
||||
|
||||
```yaml
|
||||
# /opt/hermes/radicale/docker-compose.yml
|
||||
services:
|
||||
radicale:
|
||||
image: tobyworrall/radicale:latest
|
||||
container_name: radicale
|
||||
ports:
|
||||
- "5232:5232"
|
||||
volumes:
|
||||
- ./data:/data
|
||||
- ./config:/config
|
||||
environment:
|
||||
- RADICALE_APPS=caldav
|
||||
restart: unless-stopped
|
||||
```
|
||||
|
||||
- **Auth:** HTTP Basic. Пользователи в `config` (htpasswd-файл users)
|
||||
- **Коллекции:** `/data/collections/` (календари .xand, задачи .ics)
|
||||
- **Создание коллекций:** через DAVx5/curl PUT, или вручную скриптом
|
||||
(`radicale_collections.sh` создаёт «Личный», «Рабочий», «Задачи»)
|
||||
|
||||
## Vikunja (docker)
|
||||
|
||||
```yaml
|
||||
# /opt/hermes/vikunja/docker-compose.yml
|
||||
services:
|
||||
db:
|
||||
image: postgres:16-alpine
|
||||
environment:
|
||||
POSTGRES_PASSWORD: [REDACTED]
|
||||
POSTGRES_DB: vikunja
|
||||
volumes:
|
||||
- vikunja-db:/var/lib/postgresql/data
|
||||
restart: unless-stopped
|
||||
|
||||
vikunja:
|
||||
image: vikunja/vikunja:latest
|
||||
depends_on: [db]
|
||||
environment:
|
||||
VIKUNJA_DATABASE_TYPE: postgres
|
||||
VIKUNJA_DATABASE_HOST: db
|
||||
VIKUNJA_DATABASE_DATABASE: vikunja
|
||||
VIKUNJA_DATABASE_USERNAME: vikunja
|
||||
VIKUNJA_DATABASE_PASSWORD: [REDACTED]
|
||||
VIKUNJA_SERVICE_JWTSECRET: [REDACTED]
|
||||
VIKUNJA_SERVICE_FRONTENDURL: https://tasks.nixg.ru
|
||||
VIKUNJA_SERVICE_PUBLICURL: https://tasks.nixg.ru
|
||||
ports:
|
||||
- "3456:80"
|
||||
volumes:
|
||||
- vikunja-files:/app/files
|
||||
restart: unless-stopped
|
||||
```
|
||||
|
||||
- **Порт:** 3456 (netbox на 8080 — не конфликтует)
|
||||
- **Postgres:** внутренний контейнер на 5433 (не публикуем наружу)
|
||||
- **Данные:** volumes vikunja-db + vikunja-files
|
||||
- **Логин:** первый зарегистрированный пользователь становится админом
|
||||
- **API:** `/api/v1/` — токен в Настройки → API tokens
|
||||
|
||||
## Caddy reverse proxy (TLS для Android)
|
||||
|
||||
Radicale (DAVx5) и Vikunja доступны снаружи через Caddy (он уже есть в
|
||||
/opt/gitea.nixg.ru). Домены:
|
||||
- `cal.nixg.ru` → Radicale :5232
|
||||
- `tasks.nixg.ru` → Vikunja :3456
|
||||
|
||||
```caddy
|
||||
cal.nixg.ru {
|
||||
reverse_proxy 127.0.0.1:5232
|
||||
}
|
||||
tasks.nixg.ru {
|
||||
reverse_proxy 127.0.0.1:3456
|
||||
}
|
||||
```
|
||||
|
||||
TLS — Let's Encrypt через Caddy (получает автоматически).
|
||||
|
||||
## Команды применения
|
||||
|
||||
```bash
|
||||
# Radicale
|
||||
mkdir -p /opt/hermes/radicale/{config,data}
|
||||
cd /opt/hermes/radicale && docker compose up -d
|
||||
|
||||
# Vikunja
|
||||
mkdir -p /opt/hermes/vikunja
|
||||
cd /opt/hermes/vikunja && docker compose up -d
|
||||
|
||||
# Проверка
|
||||
curl -i -X PROPFIND http://127.0.0.1:5232/ -u estorozhenko:...
|
||||
curl http://127.0.0.1:3456/api/v1/info
|
||||
```
|
||||
|
||||
## Верификация (GIVEN/WHEN/THEN → команды)
|
||||
|
||||
1. Radicale: `curl -s -o /dev/null -w '%{http_code}' -X PROPFIND http://127.0.0.1:5232/ -u estorozhenko:...` → 207
|
||||
2. Vikunja: `curl -s http://127.0.0.1:3456/api/v1/info` → JSON 200
|
||||
3. API-токен: создать задачу → 201
|
||||
4. Android/DAVx5: событие с телефона появляется в Radicale
|
||||
|
||||
## Rollback
|
||||
|
||||
```bash
|
||||
cd /opt/hermes/vikunja && docker compose down -v # удалить всё, включая volume
|
||||
cd /opt/hermes/radicale && docker compose down -v
|
||||
rm -rf /opt/hermes/vikunja /opt/hermes/radicale
|
||||
# убрать строки из Caddy и перезапустить его (внешне, sudo systemctl restart)
|
||||
```
|
||||
|
||||
## Секреты
|
||||
|
||||
Пароли/токены — только в `.env` файлах сервисов ([REDACTED] в доках), НЕ в git.
|
||||
@@ -0,0 +1,75 @@
|
||||
# Proposal: Локальные сервисы календаря (Radicale) и задач (Vikunja)
|
||||
|
||||
> ⚠️ **SUPERSEDED (2026-09-13):** Часть про **Vikunja** заменена чейнджем
|
||||
> `remove-vikunja-use-radicale-tasks` — Vikunja выведена из проекта (лишняя
|
||||
> сущность), задачи ведутся через **Radicale VTODO** (календарь «Задачи»).
|
||||
> Radicale-часть актуальна.
|
||||
|
||||
## Why
|
||||
|
||||
Для синхронизации календаря и задач с Android-телефоном нужны локальные
|
||||
сервисы (без облака). Пользователь хочет:
|
||||
- **Календарь** — нативная синхронизация с Android
|
||||
- **Трекер задач** — с веб-UI и API, чтобы веб-интерфейс почты мог
|
||||
создавать задачи кнопкой
|
||||
- Всё **локально** (bigbox), без облачных зависимостей
|
||||
|
||||
Сейчас календаря и трекера задач **нет** (проверено: порт 5232 свободен,
|
||||
образы radicale/vikunja не установлены). Порт 8080 занят NetBox.
|
||||
|
||||
## What Changes
|
||||
|
||||
Два новых сервиса в `/opt/hermes/email-assistant/`:
|
||||
|
||||
### 1. Radicale (CalDAV) — календарь + задачи VTODO
|
||||
- **Порт:** 5232 (свободен)
|
||||
- **Путь:** `/opt/hermes/email-assistant/radicale/`
|
||||
- **Способ:** Python pip (лёгкий, systemd) ИЛИ docker
|
||||
- **Назначение:** CalDAV-сервер для:
|
||||
- Календаря «Личный» + «Рабочий» (синхронизация с Android через DAVx5)
|
||||
- Задач (VTODO) — тоже через CalDAV
|
||||
- **Конфиг:** лёгкий, single-user (правки через UI/файл)
|
||||
|
||||
### 2. Vikunja (трекер задач) — веб-UI + REST API + Android app
|
||||
- **Порт:** 3456 (дефолт Vikunja, свободен)
|
||||
- **Путь:** `/opt/hermes/email-assistant/vikunja/`
|
||||
- **Способ:** docker compose (postgres + vikunja)
|
||||
- **Назначение:**
|
||||
- Трекер задач с веб-интерфейсом (kanban/список)
|
||||
- **REST API** — для кнопки «Создать задачу» из веб-интерфейса почты
|
||||
- Android-приложение (нативный клиент Vikunja)
|
||||
- **БД:** PostgreSQL (docker), данные в volume
|
||||
|
||||
### Общие решения
|
||||
- **Доступ:** 127.0.0.1 (локально) + опционально через Caddy reverse proxy
|
||||
на поддомене (Caddy — контейнер на vps02, см. STATUS.md «Ресурсы проекта»)
|
||||
- **Порты:** 5232 (radicale), 3456 (vikunja) — не конфликтуют с 8080 (NetBox)
|
||||
- **Авторизация:** Radicale — HTTP Basic (логин/пароль в конфиге);
|
||||
Vikunja — своя (регистрация/логин, API-токены)
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `calendar-caldav`: Локальный CalDAV-сервер (Radicale) для календаря и
|
||||
задач, синхронизация с Android через DAVx5
|
||||
- `task-tracker-vikunja`: Локальный трекер задач Vikunja с веб-UI и REST API,
|
||||
интеграция с веб-интерфейсом почты через API-токен
|
||||
|
||||
### Modified Capabilities
|
||||
<!-- нет -->
|
||||
|
||||
## Impact
|
||||
|
||||
- **Новые сервисы:** `/opt/hermes/email-assistant/radicale/`, `/opt/hermes/email-assistant/vikunja/`
|
||||
- **Порты:** 5232 (radicale), 3456 (vikunja) — новые
|
||||
- **Данные:** календари/задачи будут храниться локально
|
||||
- **Документация:** обновить README/STATUS (порты, логины, как синхронизировать)
|
||||
- **Риск:** Vikunja тянет Postgres (память/диск); Radicale — минимален
|
||||
|
||||
## Rollback
|
||||
|
||||
1. **Radicale:** `systemctl stop radicale` + удалить `/opt/hermes/email-assistant/radicale/`
|
||||
2. **Vikunja:** `docker compose -f /opt/hermes/email-assistant/vikunja/docker-compose.yml down -v`
|
||||
(удалить контейнеры и volume с данными) + убрать `/opt/hermes/email-assistant/vikunja/`
|
||||
3. Убрать упоминания из README/STATUS
|
||||
4. Вернуть порты в исходное состояние (оба сейчас свободны, конфликтов нет)
|
||||
@@ -0,0 +1,52 @@
|
||||
# Calendar CalDAV — Requirement Spec (Delta)
|
||||
|
||||
> New capability: `calendar-caldav`
|
||||
> Change: `local-calendar-tasks`
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: REQ-CAL-001: Локальный CalDAV-сервер
|
||||
|
||||
**MUST** — на bigbox должен работать CalDAV-сервер (Radicale), доступный по
|
||||
HTTP на 127.0.0.1:5232, предоставляющий календари и задачи по стандарту CalDAV.
|
||||
|
||||
#### Scenario: Radicale отвечает
|
||||
|
||||
**GIVEN** Radicale запущен
|
||||
**WHEN** выполняется `curl -i -X PROPFIND http://127.0.0.1:5232/ -u login:pass`
|
||||
**THEN** ответ содержит HTTP 207 (Multi-Status) и список коллекций.
|
||||
|
||||
### Requirement: REQ-CAL-002: Календарь и задачи через CalDAV
|
||||
|
||||
**MUST** — Radicale должен поддерживать как календари (VEVENT), так и задачи
|
||||
(VTODO), чтобы Android-клиент (DAVx5) синхронизировал и календарь, и задачи.
|
||||
|
||||
#### Scenario: Создание события
|
||||
|
||||
**GIVEN** настроенный календарь пользователя
|
||||
**WHEN** клиент (DAVx5 на Android / curl) создаёт VEVENT через `PUT`
|
||||
**THEN** событие сохраняется в Radicale и доступно для чтения обратно.
|
||||
|
||||
### Requirement: REQ-CAL-003: Синхронизация с Android
|
||||
|
||||
**MUST** — сервер должен поддерживать стандарт CalDAV (RFC 4791) для
|
||||
двусторонней синхронизации с Android через DAVx5 (или аналог).
|
||||
|
||||
#### Scenario: Двусторонняя синхронизация
|
||||
|
||||
**GIVEN** DAVx5 настроен на Android с URL Radicale
|
||||
**WHEN** создаётся событие на телефоне
|
||||
**THEN** оно появляется на bigbox (Radicale) и наоборот (событие из Radicale
|
||||
доступно на телефоне).
|
||||
|
||||
### Requirement: REQ-CAL-004: Безопасность
|
||||
|
||||
**MUST** — Radicale доступен только локально (127.0.0.1) или через TLS-прокси
|
||||
(Caddy) с авторизацией; не должен быть открыт в интернет без TLS.
|
||||
|
||||
#### Scenario: Доступ снаружи
|
||||
|
||||
**GIVEN** Caddy reverse proxy настроен для Radicale
|
||||
**WHEN** Android подключается по https://<домен>/
|
||||
**THEN** соединение TLS + аутентификация работают; без Caddy доступ
|
||||
ограничен локальным интерфейсом.
|
||||
@@ -0,0 +1,52 @@
|
||||
# Task Tracker Vikunja — Requirement Spec (Delta)
|
||||
|
||||
> New capability: `task-tracker-vikunja`
|
||||
> Change: `local-calendar-tasks`
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: REQ-VIK-001: Локальный трекер задач
|
||||
|
||||
**MUST** — на bigbox должен работать трекер задач Vikunja, доступный по
|
||||
HTTP на 127.0.0.1:3456 (или через Caddy на поддомене), с веб-интерфейсом
|
||||
и REST API.
|
||||
|
||||
#### Scenario: Vikunja отвечает
|
||||
|
||||
**GIVEN** Vikunja запущен (docker compose)
|
||||
**WHEN** выполняется `curl http://127.0.0.1:3456/api/v1/info`
|
||||
**THEN** ответ содержит JSON с `version` и статус 200.
|
||||
|
||||
### Requirement: REQ-VIK-002: REST API для создания задач
|
||||
|
||||
**MUST** — API Vikunja позволяет создавать задачи программно (для кнопки
|
||||
«Создать задачу» из веб-интерфейса почты), используя API-токен.
|
||||
|
||||
#### Scenario: Создание задачи через API
|
||||
|
||||
**GIVEN** валидный API-токен Vikunja
|
||||
**WHEN** выполняется `POST /api/v1/projects/<id>/tasks` с телом
|
||||
`{"title": "Тестовая задача", "description": "из письма"}`
|
||||
**THEN** задача создаётся (HTTP 201) и видна в веб-UI.
|
||||
|
||||
### Requirement: REQ-VIK-003: Авторизация
|
||||
|
||||
**MUST** — Vikunja должен требовать аутентификацию (логин/пароль или
|
||||
API-токен) для всех операций, кроме анонимного info.
|
||||
|
||||
#### Scenario: Доступ без токена запрещён
|
||||
|
||||
**GIVEN** неавторизованный запрос
|
||||
**WHEN** выполняется `POST /api/v1/projects/<id>/tasks`
|
||||
**THEN** возвращается 401/403, задача не создаётся.
|
||||
|
||||
### Requirement: REQ-VIK-004: Хранение данных
|
||||
|
||||
**MUST** — данные Vikunja хранятся в PostgreSQL (docker volume), переживают
|
||||
перезапуск контейнера.
|
||||
|
||||
#### Scenario: Перезапуск Vikunja
|
||||
|
||||
**GIVEN** Vikunja с созданными задачами
|
||||
**WHEN** контейнер перезапускается (`docker compose restart`)
|
||||
**THEN** задачи и проекты сохраняются (volume не теряется).
|
||||
@@ -0,0 +1,26 @@
|
||||
# Tasks: Локальные сервисы календаря (Radicale) и задач (Vikunja)
|
||||
|
||||
## Implementation Tasks
|
||||
|
||||
### Radicale (CalDAV, docker :5232)
|
||||
- [x] R1: Создать `/opt/hermes/email-assistant/radicale/docker-compose.yml` (образ radicale, порт 5232, volumes, auth)
|
||||
- [x] R2: Создать коллекции: «Личный», «Рабочий», «Задачи» (VTODO) — напрямую на ФС (MKCOL 403 при owner_only; .Radicale.props + data/collections/collection-root/estorozhenko/)
|
||||
- [x] R3: Проверить `curl -X PROPFIND http://127.0.0.1:5232/` → 207
|
||||
|
||||
### Vikunja (трекер, docker :3456)
|
||||
- [x] V1: Создать `/opt/hermes/email-assistant/vikunja/docker-compose.yml` (postgres + vikunja, env, volumes)
|
||||
- [ ] V2: `docker compose up -d` → Vikunja отвечает на `http://127.0.0.1:3456/api/v1/info`
|
||||
- [ ] V3: Создать админ-пользователя, получить API-токен
|
||||
- [ ] V4: Тест: `POST /api/v1/projects/<id>/tasks` с токеном → 201
|
||||
|
||||
### Общее
|
||||
- [x] O1: Caddy reverse proxy (cal.nixg.ru → 5232, tasks.nixg.ru → 3456) + TLS (на vps02, Caddyfile обновлён, cal.nixg.ru уже работает)
|
||||
- [ ] O2: Проверить доступ с Android (DAVx5 для Radicale, Vikunja app/token для задач)
|
||||
- [ ] O3: Обновить README/STATUS (порты, логины, как синхронизировать)
|
||||
|
||||
## Verification
|
||||
|
||||
- [ ] V1: `curl -s -o /dev/null -w '%{http_code}' -X PROPFIND http://127.0.0.1:5232/ -u estorozhenko:...` → 207
|
||||
- [ ] V2: `curl -s http://127.0.0.1:3456/api/v1/info` → 200
|
||||
- [ ] V3: Задача через API → 201
|
||||
- [ ] V4: `cd /opt/hermes/openspec-lab && openspec validate local-calendar-tasks`
|
||||
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-09-13
|
||||
@@ -0,0 +1,83 @@
|
||||
# Design: Убрать Vikunja, задачи через Radicale (VTODO)
|
||||
|
||||
## Context
|
||||
|
||||
- Radicale (CalDAV/CardDAV) развёрнут, календари Личный/Рабочий/Задачи на ФС.
|
||||
Публично: cal.nixg.ru (Caddy vps02 → 10.8.0.2:5232).
|
||||
- Vikunja развёрнут (compose `/opt/hermes/email-assistant/vikunja/`, контейнеры
|
||||
`vikunja` + `vikunja-db` postgres, :3456), но админ/API-токен НЕ созданы —
|
||||
это блокер для обработчика `task` в classification-чейндже.
|
||||
- Календарь «Задачи» в Radicale уже существует (VTODO-совместимый).
|
||||
- Android: jtx board синхронизирует VTODO по CalDAV через DAVx5.
|
||||
|
||||
## Goals / Non-Goals
|
||||
|
||||
**Goals:**
|
||||
- Убрать Vikunja как лишнюю сущность.
|
||||
- Задачи создаются через Radicale VTODO (календарь «Задачи»).
|
||||
- Обработчик `task` в classification-чейндже пишет VTODO, не зависит от Vikunja.
|
||||
- Обновить документацию/список задач.
|
||||
|
||||
**Non-Goals:**
|
||||
- Не мигрируем данные из Vikunja (их там нет — сервис не администрирован).
|
||||
- Не удаляем данные Radicale — только добавляем VTODO.
|
||||
- Не трогаем Caddy, если tasks.nixg.ru ещё не настроен (только не настраивать).
|
||||
|
||||
## Decisions
|
||||
|
||||
### D1: Vikunja выводится из эксплуатации
|
||||
Контейнеры `vikunja` и `vikunja-db` останавливаются и удаляются:
|
||||
```bash
|
||||
cd /opt/hermes/email-assistant/vikunja
|
||||
docker compose down -v # или docker stop vikunja vikunja-db && docker rm ...
|
||||
```
|
||||
- Данные (volume `vikunja-db`) можно удалить (сервис не использовался),
|
||||
либо сделать бэкап перед удалением (аккуратно — «не удалять данные
|
||||
пользователя»). Решение: сделать копию volume/postgres-дампа на всякий случай,
|
||||
затем удалить контейнеры; compose.yml/.env пометить deprecated или удалить
|
||||
после подтверждения пользователя.
|
||||
|
||||
### D2: Обработчик task → Radicale VTODO
|
||||
В чейндже `email-classification-handlers` обработчик `task` меняется с
|
||||
«Vikunja API POST» на «Radicale CalDAV PUT VTODO»:
|
||||
- URL: `https://cal.nixg.ru/estorozhenko/<urlencoded 'Задачи'>/<uid>.ics`
|
||||
- Auth: Basic (estorozhenko:пароль Radicale)
|
||||
- Body: VCALENDAR + VTODO (SUMMARY=тема, DESCRIPTION=ссылка на email.md,
|
||||
при наличии даты — DTSTART/DUE)
|
||||
- Пометить `handled_task: true` после успешного PUT (201/204)
|
||||
- Идемпотентность: если `handled_task: true` — пропустить
|
||||
|
||||
### D3: tasks.nixg.ru
|
||||
- Если reverse proxy уже настроен в Caddy — закомментировать/убрать.
|
||||
- Если нет — не настраивать. Единственный домен: cal.nixg.ru.
|
||||
|
||||
### D4: Android — jtx board
|
||||
Для задач (VTODO) используется jtx board, синхронизация через DAVx5 (Radicale).
|
||||
В STATUS.md зафиксировать: «задачи = Radicale VTODO, jtx board».
|
||||
|
||||
### D5: Чейндж email-classification-handlers — правка
|
||||
В `email-classification-handlers`:
|
||||
- specs/email-handlers/spec.md: «Создание задачи в Vikunja» → «Создание задачи
|
||||
в Radicale (VTODO)»
|
||||
- design.md: убрать Vikunja-ветку, заменить на Radicale VTODO
|
||||
- tasks.md: задача 3.3 (Vikunja API) → Radicale VTODO; задача 4.1 (админ Vikunja)
|
||||
→ удалить
|
||||
Это правки в активном чейндже — внести сразу.
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
- **Vikunja данные** — если в Vikunja что-то было создано, удаление volume потеряет
|
||||
это. Митигирует: бэкап volume/postgres-дамп перед удалением.
|
||||
- **VTODO-совместимость клиентов** — Radicale хранит VTODO как файлы, jtx board
|
||||
их читает. Риск низкий (стандарт CalDAV).
|
||||
- **Ссылка на email.md в DESCRIPTION** — на телефоне путь недоступен (локальный
|
||||
диск), но виден в reason/задаче. Это ок: задача показывает тему + обоснование.
|
||||
- **Уже развёрнутый Vikunja** — вывод из эксплуатации надо делать аккуратно,
|
||||
с бэкапом и подтверждением (не удалять данные пользователя без спроса).
|
||||
|
||||
## Verification
|
||||
|
||||
1. `docker ps` — контейнеры vikunja/vikunja-db отсутствуют.
|
||||
2. `curl -X PROPFIND https://cal.nixg.ru/estorozhenko/Задачи/` — календарь доступен.
|
||||
3. Создать VTODO через обработчик → `curl GET .../Задачи/<uid>.ics` — VTODO есть.
|
||||
4. `openspec validate remove-vikunja-use-radicale-tasks` — valid.
|
||||
@@ -0,0 +1,60 @@
|
||||
# Proposal: Убрать Vikunja, задачи через Radicale (VTODO)
|
||||
|
||||
## Why
|
||||
|
||||
В проекте email-assistant были развёрнуты два сервиса для календаря/задач:
|
||||
- **Radicale** (CalDAV/CardDAV) — календари Личный/Рабочий/Задачи
|
||||
- **Vikunja** (трекер задач) — отдельная сущность на :3456, tasks.nixg.ru
|
||||
|
||||
Это лишняя сложность: Radicale из коробки поддерживает **VTODO** (задачи через
|
||||
CalDAV), а календарь «Задачи» в Radicale уже создан. На Android задачи из
|
||||
CalDAV-VTODO прекрасно синхронизирует **jtx board** (и DAVx5), не требуя
|
||||
отдельного трекера.
|
||||
|
||||
Vikunja добавляет:
|
||||
- лишний docker-контейнер + PostgreSQL
|
||||
- отдельный API, токен, админа (не созданы — блокер)
|
||||
- отдельный домен tasks.nixg.ru (reverse proxy, сертификат)
|
||||
- дублирование логики «создать задачу» (Vikunja API вместо простого VTODO)
|
||||
- усложнение чейнджа классификации (обработчик `task` зависел от несуществующего токена)
|
||||
|
||||
Убираем Vikunja из проекта. Задачи — через Radicale (VTODO в календаре «Задачи»).
|
||||
Это упрощает архитектуру, убирает лишнюю сущность, не теряя функциональности.
|
||||
|
||||
## What Changes
|
||||
|
||||
1. **Обработчик задач переключается на Radicale VTODO** — в чейндже
|
||||
`email-classification-handlers` обработчик `task` создаёт не задачу в Vikunja,
|
||||
а **VTODO в календаре «Задачи» Radicale** (CalDAV PUT). Тема письма → SUMMARY,
|
||||
ссылка на письмо → DESCRIPTION.
|
||||
2. **Vikunja выводится из эксплуатации** — остановить и удалить контейнеры
|
||||
`vikunja` и `vikunja-db`, убрать docker-compose.yml, .env (или пометить
|
||||
deprecated), освободить порт 3456.
|
||||
3. **tasks.nixg.ru** — если reverse proxy уже настроен, убрать/закомментировать;
|
||||
если нет — не настраивать. Radicale остаётся единственным CalDAV-сервером.
|
||||
4. **Обновить документацию** — STATUS.md, TODO.md, design чейнджей убрать Vikunja,
|
||||
зафиксировать «задачи = Radicale VTODO, jtx board».
|
||||
5. **TODO/общий список** — задача «Vikunja» закрыта как «не нужна»,
|
||||
«Caddy tasks.nixg.ru» — отменена.
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
- `radicale-tasks`: создание задач (VTODO) в Radicale через CalDAV — заменяет
|
||||
Vikunja для обработчика `task` в email-classification-handlers.
|
||||
|
||||
### Modified Capabilities
|
||||
- (нет) — Vikunja не является capability проекта; это внешний сервис, который
|
||||
выводится из эксплуатации. Radicale-tasks — новое поведение.
|
||||
|
||||
## Impact
|
||||
|
||||
- **Docker**: остановить/удалить `vikunja`, `vikunja-db` (compose в
|
||||
`/opt/hermes/email-assistant/vikunja/`)
|
||||
- **Скрипты**: `email_handlers.py` (в чейндже classification) — обработчик `task`
|
||||
→ Radicale VTODO вместо Vikunja API
|
||||
- **Радикал**: календарь «Задачи» уже существует, туда пишутся VTODO
|
||||
- **Документация**: STATUS.md, TODO.md, design.md (local-calendar-tasks,
|
||||
email-classification-handlers) — убрать Vikunja, зафиксировать Radicale VTODO
|
||||
- **Caddy (если настроен)**: убрать/закомментировать tasks.nixg.ru
|
||||
- **TODO.md**: закрыть задачи Vikunja (2, 3, 6 — «создать задачу» теперь Radicale)
|
||||
@@ -0,0 +1,45 @@
|
||||
## Purpose
|
||||
|
||||
Создание задач через Radicale как VTODO-объектов в календаре «Задачи» (CalDAV).
|
||||
Используется обработчиком `task` в чейндже email-classification-handlers вместо
|
||||
Vikunja. Упрощает архитектуру: Radicale — единственный сервис календаря и задач.
|
||||
|
||||
## ADDED Requirements
|
||||
|
||||
### Requirement: Задача создаётся как VTODO в Radicale
|
||||
|
||||
Задача MUST создаваться как VTODO-объект (CalDAV) в календаре «Задачи» Radicale
|
||||
по адресу `https://cal.nixg.ru/estorozhenko/Задачи/`, а не через Vikunja API.
|
||||
|
||||
#### Scenario: Обработчик task
|
||||
- **WHEN** `email_handlers.py` обрабатывает письмо с тегом `task`
|
||||
- **THEN** в календаре «Задачи» Radicale создаётся VTODO (PUT по адресу
|
||||
`https://cal.nixg.ru/estorozhenko/<urlencoded Задачи>/<uid>.ics`)
|
||||
|
||||
### Requirement: Поля VTODO из письма
|
||||
|
||||
VTODO MUST содержать: SUMMARY — тема письма, DESCRIPTION — ссылка на файл
|
||||
`email.md` письма. При наличии даты/дедлайна в классификации — DTSTART/DUE.
|
||||
|
||||
#### Scenario: Создание VTODO из письма с задачей
|
||||
- **WHEN** `email_handlers.py` создаёт задачу из письма с тегом `task`
|
||||
- **THEN** VTODO имеет SUMMARY=тема письма, DESCRIPTION=путь к email.md,
|
||||
и (если указано) DTSTART/DUE из классификации
|
||||
|
||||
### Requirement: Идемпотентность задач Radicale
|
||||
|
||||
Повторный запуск обработчика MUST NOT создавать дубликат VTODO для одного письма
|
||||
(поле `handled_task: true` в frontmatter после успешного создания).
|
||||
|
||||
#### Scenario: Повторный запуск обработчика task
|
||||
- **WHEN** `email_handlers.py` запущен повторно на письме с уже созданной задачей (`handled_task: true`)
|
||||
- **THEN** новый VTODO не создаётся
|
||||
|
||||
### Requirement: Совместимость с jtx board / DAVx5
|
||||
|
||||
Созданный VTODO MUST быть читаемым стандартными CalDAV-клиентами (jtx board,
|
||||
DAVx5), т.е. валидным VCALENDAR с VTODO компонентом.
|
||||
|
||||
#### Scenario: Чтение задачи в jtx board
|
||||
- **WHEN** пользователь открывает календарь «Задачи» в jtx board (через DAVx5)
|
||||
- **THEN** VTODO отображается как задача с SUMMARY и DESCRIPTION
|
||||
@@ -0,0 +1,45 @@
|
||||
# Tasks: Убрать Vikunja, задачи через Radicale VTODO
|
||||
|
||||
## 1. Переключить обработчик task на Radicale VTODO
|
||||
|
||||
- [x] 1.1 В чейндже `email-classification-handlers` обновить specs/design/tasks:
|
||||
заменить «Vikunja API» на «Radicale CalDAV PUT VTODO» (календарь Задачи)
|
||||
- [x] 1.2 Уточнить формат VTODO: SUMMARY=тема, DESCRIPTION=ссылка на email.md,
|
||||
DTSTART/DUE при наличии даты из классификации
|
||||
- [x] 1.3 Верификация: чейндж `email-classification-handlers` остаётся валидным
|
||||
`Верификация: cd /opt/hermes/email-assistant && openspec validate email-classification-handlers`
|
||||
|
||||
## 2. Вывод Vikunja из эксплуатации
|
||||
|
||||
- [x] 2.1 Сделать бэкап данных Vikunja (если есть) перед удалением
|
||||
(volume vikunja-db / postgres-дамп в backups/) — **НЕ НУЖЕН** (решение пользователя 2026-09-13)
|
||||
- [x] 2.2 **Подтверждение пользователя на удаление** volume (данные Vikunja)
|
||||
— получено: «бэкап не нужен, выполняй остальные пункты»
|
||||
- [x] 2.3 Остановить и удалить контейнеры
|
||||
`cd /opt/hermes/email-assistant/vikunja && docker compose down -v`
|
||||
`Верификация: docker ps | grep -E 'vikunja|postgres' || echo 'Vikunja removed'`
|
||||
- [x] 2.4 Удалить каталог `/opt/hermes/email-assistant/vikunja/` (compose, .env)
|
||||
`Верификация: test ! -d /opt/hermes/email-assistant/vikunja`
|
||||
- [x] 2.5 Убрать/закомментировать reverse proxy tasks.nixg.ru из Caddy,
|
||||
если он настроен (Caddyfile на vps02) — закомментирован (строки 114-120), Caddy перезагружен
|
||||
|
||||
## 3. Обновить документацию и планы
|
||||
|
||||
- [x] 3.1 TODO.md: закрыть задачи Vikunja (2 «Vikunja развёрнут», 3 «Vikunja app»,
|
||||
6 «Vikunja API»), пометить «не нужна» (сделано 2026-09-13)
|
||||
- [x] 3.2 STATUS.md: убрать Vikunja из архитектуры, зафиксировать
|
||||
«задачи = Radicale VTODO, календарь Задачи, jtx board/DAVx5» (сделано 2026-09-13)
|
||||
- [x] 3.3 Обновить запись «Ресурсы проекта»: убрать Vikunja/tasks.nixg.ru,
|
||||
добавить Radicale VTODO (сделано 2026-09-13)
|
||||
- [x] 3.4 В чейндже `local-calendar-tasks` пометить Vikunja как не входящую
|
||||
(или заархивировать его как superseded) — proposal помечен SUPERSEDED
|
||||
|
||||
## 4. Проверка end-to-end
|
||||
|
||||
- [x] 4.1 Создать тестовое письмо с тегом `task` → обработчик создаёт VTODO
|
||||
в Radicale (календарь Задачи)
|
||||
`Верификация: curl -u estorozhenko:... -X PROPFIND -H 'Depth: 1' https://cal.nixg.ru/estorozhenko/<urlencoded Задачи>/ | grep -c 'VTODO\|ics'`
|
||||
— тестовый VTODO `test-vikunja-removal-2026` создан (PUT 201, GET 200) 2026-09-13
|
||||
- [x] 4.2 Верифицировать, что Vikunja отсутствует и ничего не сломано
|
||||
`docker ps | grep -i vikunja || echo OK` — контейнеров нет, порт 3456 свободен,
|
||||
cal.nixg.ru работает (207)
|
||||
@@ -0,0 +1,32 @@
|
||||
schema: spec-driven
|
||||
|
||||
# Project context (optional)
|
||||
# This is shown to AI when creating artifacts.
|
||||
# Add your tech stack, conventions, style guides, domain knowledge, etc.
|
||||
# Example:
|
||||
# context: |
|
||||
# Tech stack: TypeScript, React, Node.js
|
||||
# We use conventional commits
|
||||
# Domain: e-commerce platform
|
||||
|
||||
# Per-artifact rules (optional)
|
||||
# Add custom rules for specific artifacts.
|
||||
# Example:
|
||||
# rules:
|
||||
# proposal:
|
||||
# - Keep proposals under 500 words
|
||||
# - Always include a "Non-goals" section
|
||||
# tasks:
|
||||
# - Break tasks into chunks of max 2 hours
|
||||
|
||||
# Per-operation guidance (optional)
|
||||
# Add advisory guidance for how apply and archive work should be conducted.
|
||||
# This is separate from artifact rules above.
|
||||
# Example:
|
||||
# operations:
|
||||
# apply:
|
||||
# guidance:
|
||||
# - Keep test summaries concise
|
||||
# archive:
|
||||
# guidance:
|
||||
# - Summarize the archive outcome before finishing
|
||||
@@ -0,0 +1,47 @@
|
||||
# email-attachments Specification
|
||||
|
||||
## Purpose
|
||||
Скачивание вложений письма в каталог этого письма. Сейчас `mail_archive.py`
|
||||
вызывает `himalaya attachment download --dir`, но правильный флаг в Himalaya —
|
||||
`--downloads-dir`, из-за чего команда падает (exit 2), ошибка молча глотается
|
||||
`except: pass`, и папка `attachments/` всегда пустая. Вложения теряются.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Вложения сохраняются в каталог письма
|
||||
|
||||
Для каждого письма с вложениями (флаг `has_attachment: true` в frontmatter)
|
||||
вложения MUST быть сохранены в подкаталог `attachments/` каталога письма
|
||||
(`/opt/hermes/email/<folder>/YYYY/MM/<uid>/attachments/`).
|
||||
|
||||
#### Scenario: Письмо с вложением архивировано
|
||||
- **WHEN** `mail_archive.py` заархивировал письмо с `has_attachment: true`
|
||||
- **THEN** файлы вложений лежат в `<msg_dir>/attachments/` и совпадают с вложениями на IMAP-сервере
|
||||
|
||||
### Requirement: Правильный флаг Himalaya
|
||||
|
||||
Скачивание вложений MUST использовать флаг `--downloads-dir` (а не несуществующий
|
||||
`--dir`) команды `himalaya attachment download`, и передавать ему каталог письма.
|
||||
|
||||
#### Scenario: Вызов himalaya с корректным флагом
|
||||
- **WHEN** `get_attachments()` выполняется для письма
|
||||
- **THEN** используется `himalaya attachment download --folder <folder> --downloads-dir <msg_dir>/attachments <uid>`, exit code 0 при успехе
|
||||
|
||||
### Requirement: Учёт отсутствия вложений
|
||||
|
||||
Если письмо не имеет вложений (`has_attachment: false` или команда вернула
|
||||
«нет вложений»), скрипт MUST NOT создавать пустую папку `attachments/` и MUST NOT
|
||||
считать это ошибкой.
|
||||
|
||||
#### Scenario: Письмо без вложений
|
||||
- **WHEN** `mail_archive.py` обрабатывает письмо без вложений
|
||||
- **THEN** каталог `attachments/` не создаётся, ошибка не логируется
|
||||
|
||||
### Requirement: Повторная обработка существующих писем
|
||||
|
||||
Повторный запуск `mail_archive.py` MUST NOT повторно качать уже сохранённые
|
||||
вложения (проверка по наличию каталога/файлов).
|
||||
|
||||
#### Scenario: Повторный запуск
|
||||
- **WHEN** `mail_archive.py` запущен повторно на письме с уже скачанными вложениями
|
||||
- **THEN** вложения не скачиваются повторно (идемпотентность)
|
||||
@@ -0,0 +1,58 @@
|
||||
# email-classification Specification
|
||||
|
||||
## Purpose
|
||||
Классификация писем локальной LLM: после скачивания письма модель определяет тип
|
||||
письма (информационное, требует срочного ответа, содержит задачу, содержит
|
||||
встречу) и записывает тег + обоснование в frontmatter файла email.md. Обработка
|
||||
приватна — модель Qwen3:8b запущена локально через Ollama, текст письма не
|
||||
покидает хост.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Классификация каждого нового письма
|
||||
|
||||
Каждое письмо, заархивированное `mail_archive.py`, MUST быть классифицировано
|
||||
локальной моделью не позднее одного прохода классификатора после архивации.
|
||||
|
||||
#### Scenario: Новое письмо после архивации
|
||||
- **WHEN** `mail_archive.py` сохранил новое письмо в `/opt/hermes/email/**/email.md` без поля `classification`
|
||||
- **THEN** `email_classifier.py` обработает его и запишет в frontmatter поле `classification` с одним из значений: `info`, `urgent`, `task`, `meeting` (или комбинацию через запятую)
|
||||
|
||||
### Requirement: Приватность обработки
|
||||
|
||||
Классификация MUST выполняться локальной моделью (Qwen3:8b через Ollama на
|
||||
localhost:11434) и MUST NOT отправлять текст письма в облачные API.
|
||||
|
||||
#### Scenario: Локальная модель доступна
|
||||
- **WHEN** классификатор запущен
|
||||
- **THEN** запросы к LLM идут только на `http://localhost:11434` (Ollama), никаких внешних HTTP-вызовов с телом письма
|
||||
|
||||
### Requirement: Обоснование классификации
|
||||
|
||||
Классификатор MUST записывать краткое обоснование решения в frontmatter
|
||||
(поле `classification_reason`), чтобы пользователь видел, почему письмо помечено
|
||||
именно так.
|
||||
|
||||
#### Scenario: Обоснование для письма
|
||||
- **WHEN** `email_classifier.py` классифицировал письмо
|
||||
- **THEN** в frontmatter записано `classification_reason` с 1-2 предложениями на русском
|
||||
|
||||
### Requirement: Идемпотентность
|
||||
|
||||
Письмо MUST обрабатываться классификатором только один раз; повторный запуск
|
||||
MUST NOT переклассифицировать уже обработанные письма (если не задан флаг
|
||||
принудительной переклассификации).
|
||||
|
||||
#### Scenario: Повторный запуск классификатора
|
||||
- **WHEN** `email_classifier.py` запущен повторно на уже обработанном письме (есть `classification`)
|
||||
- **THEN** письмо пропускается без повторного вызова LLM
|
||||
|
||||
### Requirement: Обработка ошибок классификатора
|
||||
|
||||
Если LLM не ответила или вернула невалидный JSON, классификатор MUST пометить
|
||||
письмо как `unclassified` и продолжить со следующим письмом, не прерывая весь
|
||||
проход.
|
||||
|
||||
#### Scenario: LLM вернула невалидный ответ
|
||||
- **WHEN** модель не ответила или вернула не-JSON
|
||||
- **THEN** письмо получает `classification: unclassified`, а проход продолжается
|
||||
@@ -0,0 +1,66 @@
|
||||
# email-handlers Specification
|
||||
|
||||
## Purpose
|
||||
Подключение обработчиков по тегам классификации письма: уведомление в мессенджер
|
||||
для срочных писем, создание задачи в Radicale (VTODO, календарь «Задачи») для
|
||||
писем с задачей, создание события в Radicale (VEVENT, календарь «Рабочий») для
|
||||
писем со встречей. Обработчики запускаются автоматически после классификации и
|
||||
работают идемпотентно. (Vikunja выведена из эксплуатации 2026-09-13 — change
|
||||
`remove-vikunja-use-radicale-tasks`.)
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: Уведомление в мессенджер для срочных писем
|
||||
|
||||
Письмо с тегом `urgent` MUST вызывать отправку уведомления в мессенджер
|
||||
(Telegram) с отправителем, темой и первыми строками текста.
|
||||
|
||||
#### Scenario: Срочное письмо
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `urgent`
|
||||
- **THEN** `email_handlers.py` отправляет в Telegram уведомление с from/subject/превью
|
||||
|
||||
### Requirement: Создание задачи в Radicale (VTODO) для писем с задачей
|
||||
|
||||
Письмо с тегом `task` MUST создавать задачу в Radicale (CalDAV, календарь
|
||||
«Задачи») как VTODO с темой письма в SUMMARY и ссылкой на письмо в DESCRIPTION.
|
||||
|
||||
#### Scenario: Письмо с задачей
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `task`
|
||||
- **THEN** в Radicale (календарь Задачи) создаётся VTODO: SUMMARY=тема письма, DESCRIPTION=ссылка на `email.md`
|
||||
|
||||
### Requirement: Создание события в Radicale для писем со встречей
|
||||
|
||||
Письмо с тегом `meeting` MUST создавать событие в календаре Radicale (Рабочий)
|
||||
с темой письма как SUMMARY и извлечённой датой/временем, если они указаны.
|
||||
|
||||
#### Scenario: Письмо со встречей
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `meeting` и в классификации есть дата/время
|
||||
- **THEN** в Radicale (календарь Рабочий) создаётся VEVENT с SUMMARY=тема письма
|
||||
|
||||
### Requirement: Идемпотентность обработчиков
|
||||
|
||||
Обработчик MUST запускаться для каждого письма один раз; повторный запуск на
|
||||
уже обработанном письме MUST NOT создавать дубликат задачи/события/уведомления.
|
||||
|
||||
#### Scenario: Повторный запуск обработчиков
|
||||
- **WHEN** `email_handlers.py` запущен повторно на письме, для которого уже созданы задача/событие
|
||||
- **THEN** дубликаты не создаются (трекинг обработанных в state)
|
||||
|
||||
### Requirement: Информационные письма не создают обработчиков
|
||||
|
||||
Письмо с тегом `info` MUST NOT вызывать уведомления, задач или событий; оно
|
||||
только помечается тегом в frontmatter.
|
||||
|
||||
#### Scenario: Информационное письмо
|
||||
- **WHEN** `email_classifier.py` пометил письмо тегом `info`
|
||||
- **THEN** `email_handlers.py` не создаёт ни уведомления, ни задачи, ни события
|
||||
|
||||
### Requirement: Уведомление о недоступности обработчика
|
||||
|
||||
Если обработчик не может выполниться (Radicale недоступен, нет учётных данных),
|
||||
MUST быть записана ошибка в лог, и письмо MUST остаться помеченным тегом для
|
||||
повторной попытки (не теряться).
|
||||
|
||||
#### Scenario: Radicale недоступен
|
||||
- **WHEN** `email_handlers.py` пытается создать задачу/событие, но Radicale недоступен
|
||||
- **THEN** ошибка пишется в лог, письмо остаётся с тегом `task`/`meeting`, повторная попытка возможна
|
||||
@@ -0,0 +1,50 @@
|
||||
# email-storage-format Specification
|
||||
|
||||
## Purpose
|
||||
Формат хранения архива писем: `email.md` (YAML-frontmatter + текст) в структуре
|
||||
`/<folder>/YYYY/MM/<uid>/`, выбранный по итогам анализа STORAGE_ANALYSIS.md
|
||||
(9 критериев: полнота заголовков, инкрементальность, идемпотентность, удобство
|
||||
поиска и др.). Хранит полные заголовки письма в frontmatter и тело как Markdown;
|
||||
доп. поля (classification, handled_*, attachments) расширяют frontmatter без
|
||||
изменения формата.
|
||||
|
||||
## Requirements
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-001: Обоснование выбора формата хранения
|
||||
|
||||
**MUST** — проект должен содержать документ `STORAGE_ANALYSIS.md` в корне
|
||||
`/opt/hermes/email-assistant/`, объективно сравнивающий текущий формат
|
||||
хранения (`email.md` в `/<folder>/YYYY/MM/UID/`) с Maildir, MBOX и notmuch.
|
||||
|
||||
#### Scenario: Документ анализа существует
|
||||
|
||||
**GIVEN** файл `STORAGE_ANALYSIS.md` существует
|
||||
**WHEN** его открывают
|
||||
**THEN** он содержит:
|
||||
- таблицу сравнения по критериям (производительность, устойчивость, интеграция,
|
||||
пригодность для LLM, совместимость с MUA, масштабируемость, бэкапы)
|
||||
- явную рекомендацию (остаться на текущем / мигрировать на Maildir / иное)
|
||||
- обоснование рекомендации с учётом мотивации пользователя (локальная LLM
|
||||
в скриптах, без облака)
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-002: Ссылка из README
|
||||
|
||||
**MUST** — `README.md` проекта должен содержать ссылку на `STORAGE_ANALYSIS.md`.
|
||||
|
||||
#### Scenario: README содержит ссылку
|
||||
|
||||
**GIVEN** `README.md` проекта
|
||||
**WHEN** открываем его
|
||||
**THEN** в разделе «Оценка альтернатив» (или аналогичном) есть ссылка
|
||||
`[Анализ формата хранения (ФС vs Maildir)](STORAGE_ANALYSIS.md)`.
|
||||
|
||||
### Requirement: REQ-EMA-STORAGE-003: Без изменения данных
|
||||
|
||||
**MUST** — change не должен модифицировать, мигрировать или удалять
|
||||
существующие письма в `/opt/hermes/email/`. Анализ — только документация.
|
||||
|
||||
#### Scenario: Архив не изменён
|
||||
|
||||
**GIVEN** архив `/opt/hermes/email/`
|
||||
**WHEN** change применён
|
||||
**THEN** файлы писем остаются без изменений (проверка: `find /opt/hermes/email -name 'email.md' | wc -l` — то же число, что и до change).
|
||||
@@ -0,0 +1,16 @@
|
||||
[server]
|
||||
hosts = 0.0.0.0:5232
|
||||
|
||||
[auth]
|
||||
type = htpasswd
|
||||
htpasswd_filename = /data/users
|
||||
htpasswd_encryption = md5
|
||||
|
||||
[rights]
|
||||
type = owner_only
|
||||
|
||||
[storage]
|
||||
filesystem_folder = /data/collections
|
||||
|
||||
[logging]
|
||||
level = info
|
||||
@@ -0,0 +1,13 @@
|
||||
# Radicale — CalDAV/CardDAV-сервер (календарь + задачи VTODO)
|
||||
# Порт: 5232 (127.0.0.1), TLS — через Caddy (cal.nixg.ru)
|
||||
services:
|
||||
radicale:
|
||||
image: kozea/radicale:latest
|
||||
container_name: radicale
|
||||
command: ["-C", "/config/config"]
|
||||
ports:
|
||||
- "5232:5232"
|
||||
volumes:
|
||||
- ./data:/data
|
||||
- ./config:/config:ro
|
||||
restart: unless-stopped
|
||||
@@ -0,0 +1,592 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
contacts_caldav_sync.py — двусторонняя синхронизация контактов
|
||||
между локальной базой contacts.json и CardDAV-сервером Radicale.
|
||||
|
||||
Направления:
|
||||
PUSH (база → сервер): новые/изменённые контакты пишутся как vCard
|
||||
PULL (сервер → база): правки на телефоне (DAVx5) попадают обратно:
|
||||
- изменённая карточка → обновление контакта
|
||||
- новая карточка → новый контакт
|
||||
- удалённая карточка → deleted: true (soft delete)
|
||||
Конфликты: приоритет серверу (телефон), локальная версия в caldav-sync.log
|
||||
|
||||
Запуск:
|
||||
python3 contacts_caldav_sync.py [--base-url URL] [--user USER] [--pass PASS]
|
||||
[--addressbook КОНТАКТЫ] [--prune] [--dry-run]
|
||||
|
||||
Пароль: --pass или env CALDAV_PASS (или RADICALE_PASS).
|
||||
Без --pass → читает radicale/.env (RADICALE_PASS).
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import base64
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
import xml.etree.ElementTree as ET
|
||||
from datetime import date, datetime
|
||||
from pathlib import Path
|
||||
|
||||
EMAIL_ROOT = Path("/opt/hermes/email")
|
||||
CONTACTS_DIR = EMAIL_ROOT / "contacts"
|
||||
LOG_PATH = CONTACTS_DIR / "caldav-sync.log"
|
||||
|
||||
DEFAULT_BASE_URL = "http://127.0.0.1:5232"
|
||||
DEFAULT_USER = "estorozhenko"
|
||||
DEFAULT_ADDRESSBOOK = "Контакты"
|
||||
|
||||
|
||||
# ─── HTTP helpers ──────────────────────────────────────────────────────────────
|
||||
|
||||
def _auth_header(user, password):
|
||||
token = base64.b64encode(f"{user}:{password}".encode()).decode()
|
||||
return {"Authorization": f"Basic {token}"}
|
||||
|
||||
|
||||
def _request(method, url, headers=None, data=None, timeout=15):
|
||||
req = urllib.request.Request(url, method=method, headers=headers or {})
|
||||
if data is not None:
|
||||
if isinstance(data, str):
|
||||
data = data.encode("utf-8")
|
||||
req.data = data
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=timeout) as resp:
|
||||
return resp.status, resp.read()
|
||||
except urllib.error.HTTPError as e:
|
||||
return e.code, e.read()
|
||||
except urllib.error.URLError as e:
|
||||
return 0, str(e).encode()
|
||||
|
||||
|
||||
def _etag_from_response(resp_headers):
|
||||
return resp_headers.get("ETag") or resp_headers.get("etag")
|
||||
|
||||
|
||||
# ─── vCard helpers ────────────────────────────────────────────────────────────
|
||||
|
||||
def contact_to_vcard(contact):
|
||||
"""Собрать vCard 4.0 из контакта (как generate_vcard в contacts_extractor)."""
|
||||
lines = ["BEGIN:VCARD", "VERSION:4.0"]
|
||||
uid = contact.get("id") or ""
|
||||
if uid:
|
||||
lines.append(f"UID:{uid}")
|
||||
full_name = contact.get("full_name") or ""
|
||||
lines.append(f"FN:{full_name}")
|
||||
name_parts = full_name.split(maxsplit=2)
|
||||
if len(name_parts) >= 2:
|
||||
n_line = f"N:{name_parts[-1]};{name_parts[0]};{' '.join(name_parts[1:-1])};;"
|
||||
else:
|
||||
n_line = f"N:{full_name};;;;"
|
||||
lines.append(n_line)
|
||||
email = contact.get("email")
|
||||
if email:
|
||||
lines.append(f"EMAIL;TYPE=WORK:{email}")
|
||||
if contact.get("phone"):
|
||||
# Radicale режет value по запятой → заменяем на пробел (доб. 3557 сохраняется)
|
||||
lines.append(f"TEL;TYPE=WORK:{contact['phone'].replace(',', ' ')}")
|
||||
if contact.get("phone_secondary"):
|
||||
lines.append(f"TEL;TYPE=CELL:{contact['phone_secondary'].replace(',', ' ')}")
|
||||
if contact.get("position"):
|
||||
lines.append(f"TITLE:{contact['position']}")
|
||||
if contact.get("company"):
|
||||
lines.append(f"ORG:{contact['company']}")
|
||||
if contact.get("address"):
|
||||
lines.append(f"ADR;TYPE=WORK:;;{contact['address']};;;")
|
||||
# Источник: X-SOURCES через | (Radicale режет по запятой, | не режет)
|
||||
if contact.get("source_uids"):
|
||||
sources = " | ".join(contact.get("source_uids", []))
|
||||
lines.append(f"X-SOURCES:{sources}")
|
||||
lines.append("END:VCARD")
|
||||
return "\r\n".join(lines) + "\r\n"
|
||||
|
||||
|
||||
def parse_vcard_to_contact(vcard_text, uid, base_contact=None):
|
||||
"""Извлечь поля из vCard в dict контакта (для pull-направления)."""
|
||||
contact = dict(base_contact or {})
|
||||
contact["id"] = uid
|
||||
fields = {}
|
||||
current = None
|
||||
for line in vcard_text.replace("\r\n", "\n").split("\n"):
|
||||
line = line.strip()
|
||||
if not line:
|
||||
continue
|
||||
if line.startswith("BEGIN:"):
|
||||
continue
|
||||
if line.startswith("END:"):
|
||||
continue
|
||||
if ":" in line:
|
||||
key, _, value = line.partition(":")
|
||||
# params: EMAIL;TYPE=WORK → name=EMAIL
|
||||
name = key.split(";")[0].upper()
|
||||
value = value.strip()
|
||||
if name in ("FN", "N", "EMAIL", "TEL", "TITLE", "ORG", "ADR", "NOTE"):
|
||||
fields.setdefault(name, []).append(value)
|
||||
if "FN" in fields:
|
||||
contact["full_name"] = fields["FN"][0]
|
||||
if "EMAIL" in fields:
|
||||
email = fields["EMAIL"][0]
|
||||
# strip mailto:
|
||||
if email.lower().startswith("mailto:"):
|
||||
email = email[7:]
|
||||
contact["email"] = email.lower()
|
||||
tels = [t for t in fields.get("TEL", []) if t]
|
||||
if tels:
|
||||
tel = tels[0]
|
||||
if tel.lower().startswith("tel:"):
|
||||
tel = tel[4:]
|
||||
contact["phone"] = tel
|
||||
if len(tels) > 1:
|
||||
contact["phone_secondary"] = tels[1]
|
||||
if "TITLE" in fields:
|
||||
contact["position"] = fields["TITLE"][0]
|
||||
if "ORG" in fields:
|
||||
contact["company"] = fields["ORG"][0].replace("\\,", ",")
|
||||
if "ADR" in fields:
|
||||
# ADR;TYPE=WORK:;;address;;; → берём 3-ю часть
|
||||
adr = fields["ADR"][0]
|
||||
parts = adr.split(";")
|
||||
if len(parts) >= 3 and parts[2]:
|
||||
contact["address"] = parts[2]
|
||||
return contact
|
||||
|
||||
|
||||
# ─── CardDAV ops ──────────────────────────────────────────────────────────────
|
||||
|
||||
def carddav_base_url(base_url, user, addressbook):
|
||||
"""URL адресной книги."""
|
||||
return f"{base_url.rstrip('/')}/{urllib.parse.quote(user)}/{urllib.parse.quote(addressbook)}/"
|
||||
|
||||
|
||||
def list_addressbook(base_url, user, addressbook, auth):
|
||||
"""PROPFIND Depth:1 → {href: {'etag': str, 'vcard': str}} (vcard via GET)."""
|
||||
ab_url = carddav_base_url(base_url, user, addressbook)
|
||||
body = """<?xml version="1.0" encoding="utf-8"?>
|
||||
<propfind xmlns="DAV:" xmlns:C="urn:ietf:params:xml:ns:carddav">
|
||||
<prop><getetag/><resourcetype/><href/></prop>
|
||||
</propfind>"""
|
||||
status, content = _request(
|
||||
"PROPFIND", ab_url,
|
||||
headers={**auth, "Depth": "1", "Content-Type": "application/xml"},
|
||||
data=body,
|
||||
)
|
||||
if status not in (207, 200):
|
||||
return None, f"PROPFIND → {status}: {content[:200]}"
|
||||
xml = content.decode("utf-8", errors="replace")
|
||||
# Парсим response-блоки через ElementTree (Radicale использует префикс D: по умолчанию,
|
||||
# но может быть и без — ET с namespaces справится).
|
||||
cards = {}
|
||||
try:
|
||||
root = ET.fromstring(xml)
|
||||
except ET.ParseError as e:
|
||||
return None, f"PROPFIND XML parse: {e}"
|
||||
dav = "{DAV:}"
|
||||
for resp in root.iter(f"{dav}response"):
|
||||
href_el = resp.find(f"{dav}href")
|
||||
if href_el is None or not href_el.text:
|
||||
continue
|
||||
href = href_el.text.strip()
|
||||
if href.endswith("/"):
|
||||
continue # сама коллекция
|
||||
# etag лежит в propstat/prop/getetag
|
||||
etag = ""
|
||||
for prop in resp.iter(f"{dav}prop"):
|
||||
getetag = prop.find(f"{dav}getetag")
|
||||
if getetag is not None and getetag.text:
|
||||
etag = getetag.text.strip()
|
||||
break
|
||||
cards[href] = {"etag": etag}
|
||||
# Тянем содержимое каждой карточки (GET)
|
||||
for href in list(cards):
|
||||
card_url = f"{base_url.rstrip('/')}{href}" if href.startswith("/") else f"{ab_url.rstrip('/')}/{href}"
|
||||
status2, content2 = _request("GET", card_url, headers=auth)
|
||||
if status2 == 200:
|
||||
cards[href]["vcard"] = content2.decode("utf-8", errors="replace")
|
||||
else:
|
||||
cards[href]["vcard"] = ""
|
||||
return cards, None
|
||||
|
||||
|
||||
def put_card(base_url, user, addressbook, uid, vcard, auth, etag=None):
|
||||
"""PUT vCard; etag → If-Match (обновление). Возвращает (status, etag или body)."""
|
||||
ab_url = carddav_base_url(base_url, user, addressbook)
|
||||
url = f"{ab_url}{uid}.vcf"
|
||||
headers = {**auth, "Content-Type": "text/vcard; charset=utf-8"}
|
||||
if etag:
|
||||
headers["If-Match"] = etag
|
||||
status, content = _request("PUT", url, headers=headers, data=vcard)
|
||||
if status in (200, 201, 204):
|
||||
new_etag = None
|
||||
# Radicale отдаёт ETag в заголовке; urllib его теряет в _request —
|
||||
# пере-запросим HEAD? Нет. GET вернёт актуальный.
|
||||
return status, new_etag
|
||||
return status, content[:300]
|
||||
|
||||
|
||||
def get_card_etag(base_url, user, addressbook, uid, auth):
|
||||
"""GET карточки → (etag, vcard)."""
|
||||
ab_url = carddav_base_url(base_url, user, addressbook)
|
||||
url = f"{ab_url}{uid}.vcf"
|
||||
req = urllib.request.Request(url, method="GET", headers=auth)
|
||||
try:
|
||||
with urllib.request.urlopen(req, timeout=15) as resp:
|
||||
etag = resp.headers.get("ETag") or ""
|
||||
return etag, resp.read().decode("utf-8", errors="replace")
|
||||
except urllib.error.HTTPError as e:
|
||||
return None, None if e.code == 404 else (None, e.read()[:200])
|
||||
except urllib.error.URLError:
|
||||
return None, None
|
||||
|
||||
|
||||
def delete_card(base_url, user, addressbook, uid, auth):
|
||||
ab_url = carddav_base_url(base_url, user, addressbook)
|
||||
url = f"{ab_url}{uid}.vcf"
|
||||
status, content = _request("DELETE", url, headers=auth)
|
||||
return status, content
|
||||
|
||||
|
||||
# ─── Sync logic ───────────────────────────────────────────────────────────────
|
||||
|
||||
def log_sync(entries):
|
||||
"""Дописать строки в caldav-sync.log."""
|
||||
with open(LOG_PATH, "a", encoding="utf-8") as f:
|
||||
for e in entries:
|
||||
ts = datetime.now().isoformat(timespec="seconds")
|
||||
f.write(f"[{ts}] {e}\n")
|
||||
|
||||
|
||||
def sync_contacts_carddav(base_url, user, password, addressbook, prune=False,
|
||||
dry_run=False, contacts_dir=None, verbose=True):
|
||||
"""Двусторонний синк; возвращает (stats: dict, err: str|None)."""
|
||||
contacts_dir = contacts_dir or CONTACTS_DIR
|
||||
contacts_db = {}
|
||||
try:
|
||||
contacts_db = json.load(open(contacts_dir / "contacts.json", encoding="utf-8"))
|
||||
except (FileNotFoundError, json.JSONDecodeError) as e:
|
||||
return None, f"Не удалось прочитать contacts.json: {e}"
|
||||
|
||||
contacts = contacts_db.get("contacts", [])
|
||||
by_email = contacts_db.get("by_email", {})
|
||||
auth = _auth_header(user, password)
|
||||
|
||||
# Строим индекс по id
|
||||
by_id = {c.get("id"): c for c in contacts if c.get("id")}
|
||||
|
||||
# 1. PROPFIND книги
|
||||
cards, err = list_addressbook(base_url, user, addressbook, auth)
|
||||
if err:
|
||||
return None, f"list_addressbook: {err}"
|
||||
assert cards is not None
|
||||
if verbose:
|
||||
print(f" CardDAV: {len(cards)} карточек в книге {addressbook}")
|
||||
|
||||
stats = {"created": 0, "updated": 0, "unchanged": 0, "conflict": 0,
|
||||
"pulled_created": 0, "pulled_updated": 0, "pulled_deleted": 0,
|
||||
"deleted": 0}
|
||||
log_entries = []
|
||||
changed = False
|
||||
|
||||
# ── PULL: сервер → база ────────────────────────────────────────────────
|
||||
server_ids = set()
|
||||
for href, card in cards.items():
|
||||
# uid = имя файла без .vcf
|
||||
uid = href.rstrip("/").split("/")[-1]
|
||||
if uid.endswith(".vcf"):
|
||||
uid = uid[:-4]
|
||||
server_ids.add(uid)
|
||||
local = by_id.get(uid)
|
||||
server_etag = card.get("etag", "")
|
||||
vcard_text = card.get("vcard", "")
|
||||
|
||||
if local is None:
|
||||
# Новой карточки нет в базе → создать контакт
|
||||
new_contact = parse_vcard_to_contact(vcard_text, uid)
|
||||
if not new_contact.get("email"):
|
||||
if verbose:
|
||||
print(f" ← {uid}: новая карточка без email, пропуск pull")
|
||||
continue
|
||||
new_contact.setdefault("full_name", "")
|
||||
new_contact["first_seen"] = date.today().isoformat()
|
||||
new_contact["last_seen"] = date.today().isoformat()
|
||||
new_contact["source_uids"] = new_contact.get("source_uids", [])
|
||||
new_contact["source_folders"] = new_contact.get("source_folders", [])
|
||||
new_contact["caldav"] = {"uid": uid, "etag": server_etag,
|
||||
"from_device": True}
|
||||
contacts.append(new_contact)
|
||||
by_email[new_contact["email"]] = len(contacts) - 1
|
||||
by_id[uid] = new_contact
|
||||
stats["pulled_created"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" ← {uid}: новая карточка с телефона → контакт создан")
|
||||
log_entries.append(f"PULL-CREATE {uid} {new_contact.get('email')}")
|
||||
continue
|
||||
|
||||
local_caldav = local.get("caldav") or {}
|
||||
local_etag = local_caldav.get("etag", "")
|
||||
|
||||
# Изменена ли карточка относительно нашей записи?
|
||||
if server_etag and server_etag != local_etag:
|
||||
# Сервер изменился (правка с телефона). По REQ-011 приоритет телефону —
|
||||
# применяем серверную версию, сохраняя недостающие локальные поля.
|
||||
merged = parse_vcard_to_contact(vcard_text, uid, base_contact=local)
|
||||
# Поля, которых нет в vCard — значит удалены на телефоне → обнуляем.
|
||||
SYNCFIELDS = ("full_name", "phone", "phone_secondary", "position",
|
||||
"company", "address", "email")
|
||||
present = _vcard_field_names(vcard_text)
|
||||
for k in SYNCFIELDS:
|
||||
if k in present:
|
||||
if merged.get(k):
|
||||
local[k] = merged[k]
|
||||
else:
|
||||
local[k] = None if k in ("phone", "phone_secondary",
|
||||
"position", "company", "address") else local.get(k)
|
||||
local["caldav"] = {**local_caldav, "etag": server_etag,
|
||||
"from_device": True}
|
||||
stats["pulled_updated"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" ← {uid}: карточка изменена на телефоне → контакт обновлён")
|
||||
log_entries.append(f"PULL-UPDATE {uid} (server etag {server_etag})")
|
||||
else:
|
||||
stats["unchanged"] += 1
|
||||
|
||||
# Карточки, которых больше нет на сервере (удалены на телефоне) → soft delete
|
||||
for contact in contacts:
|
||||
cid = contact.get("id")
|
||||
if not cid:
|
||||
continue
|
||||
caldav = contact.get("caldav") or {}
|
||||
if caldav.get("uid") and cid not in server_ids:
|
||||
if not contact.get("deleted"):
|
||||
contact["deleted"] = True
|
||||
contact["last_seen"] = date.today().isoformat()
|
||||
stats["pulled_deleted"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" ← {cid}: карточка удалена на телефоне → deleted: true")
|
||||
log_entries.append(f"PULL-DELETE {cid}")
|
||||
|
||||
# ── PUSH: база → сервер ────────────────────────────────────────────────
|
||||
for contact in contacts:
|
||||
cid = contact.get("id")
|
||||
email = contact.get("email")
|
||||
if not cid or not email:
|
||||
continue
|
||||
if contact.get("deleted"):
|
||||
# unтелефон deleted: удалить карточку при prune или пропустить
|
||||
if prune and cid in server_ids:
|
||||
status, body = delete_card(base_url, user, addressbook, cid, auth)
|
||||
if status in (200, 204):
|
||||
stats["deleted"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" → {cid}: карточка удалена (prune)")
|
||||
log_entries.append(f"DELETE {cid}")
|
||||
continue
|
||||
caldav = contact.get("caldav") or {}
|
||||
if caldav.get("from_device") and not caldav.get("sync_after_pull"):
|
||||
# Контакт с телефона: уже синхронизирован в pull, ничего не пишем
|
||||
continue
|
||||
vcard = contact_to_vcard(contact)
|
||||
if dry_run:
|
||||
action = "создана" if cid not in server_ids else "обновлена"
|
||||
if verbose:
|
||||
print(f" → [dry] {cid}: карточка {action}")
|
||||
continue
|
||||
if cid not in server_ids:
|
||||
# Нет карточки → создать
|
||||
status, body = put_card(base_url, user, addressbook, cid, vcard, auth)
|
||||
if status in (200, 201, 204):
|
||||
# обновим etag
|
||||
etag, _ = get_card_etag(base_url, user, addressbook, cid, auth)
|
||||
contact["caldav"] = {"uid": cid, "etag": etag or "",
|
||||
"from_device": False}
|
||||
stats["created"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" → {cid}: карточка создана")
|
||||
log_entries.append(f"CREATE {cid} {email}")
|
||||
else:
|
||||
if verbose:
|
||||
print(f" ✗ {cid}: PUT {status}: {body[:120]}")
|
||||
else:
|
||||
# Карточка есть → проверить, изменилась ли локально
|
||||
c_href = href_for(cid, cards)
|
||||
server_etag = cards[c_href]["etag"] if c_href else ""
|
||||
local_etag = (contact.get("caldav") or {}).get("etag", "")
|
||||
# Сравниваем содержимое vCard (проще, чем etag на каждый чих)
|
||||
server_vcard = cards[c_href].get("vcard", "") if c_href else ""
|
||||
local_vcard = contact_to_vcard(contact)
|
||||
if _normalize_vcard(local_vcard) == _normalize_vcard(server_vcard):
|
||||
stats["unchanged"] += 1
|
||||
continue
|
||||
# Обновляем с If-Match
|
||||
status, body = put_card(base_url, user, addressbook, cid, vcard, auth, etag=server_etag or None)
|
||||
if status in (200, 201, 204):
|
||||
etag, _ = get_card_etag(base_url, user, addressbook, cid, auth)
|
||||
contact["caldav"] = {"uid": cid, "etag": etag or "",
|
||||
"from_device": False}
|
||||
stats["updated"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" → {cid}: карточка обновлена")
|
||||
log_entries.append(f"UPDATE {cid} {email}")
|
||||
elif status == 412:
|
||||
# Конфликт: сервер изменил карточку → принять серверную
|
||||
# версию, локальную в лог.
|
||||
if cid in server_ids:
|
||||
c_href2 = href_for(cid, cards)
|
||||
server_vcard = cards[c_href2].get("vcard", "") if c_href2 else ""
|
||||
if server_vcard:
|
||||
local_prev = {k: contact.get(k) for k in
|
||||
("full_name", "phone", "phone_secondary",
|
||||
"position", "company", "address")}
|
||||
merged = parse_vcard_to_contact(server_vcard, cid, base_contact=contact)
|
||||
for k in ("full_name", "phone", "phone_secondary",
|
||||
"position", "company", "address"):
|
||||
if k in merged and merged[k]:
|
||||
contact[k] = merged[k]
|
||||
etag, _ = get_card_etag(base_url, user, addressbook, cid, auth)
|
||||
contact["caldav"] = {"uid": cid, "etag": etag or "",
|
||||
"from_device": True}
|
||||
stats["conflict"] += 1
|
||||
changed = True
|
||||
if verbose:
|
||||
print(f" ⚠ {cid}: 412 конфликт → сервер победил, локальное в log")
|
||||
log_entries.append(f"CONFLICT-PUSH {cid} conflict_local={json.dumps(local_prev, ensure_ascii=False)}")
|
||||
else:
|
||||
if verbose:
|
||||
print(f" ✗ {cid}: PUT 412, но карточка исчезла — повтор на след. раз")
|
||||
else:
|
||||
if verbose:
|
||||
print(f" ✗ {cid}: PUT {status}: {body[:120]}")
|
||||
|
||||
# ── Сохраняем базу ─────────────────────────────────────────────────────
|
||||
if changed and not dry_run:
|
||||
contacts.sort(key=lambda c: c.get("email", ""))
|
||||
# by_email хранит индексы — перестроить после сортировки
|
||||
by_email = {c.get("email", ""): i for i, c in enumerate(contacts)}
|
||||
contacts_db["contacts"] = contacts
|
||||
contacts_db["by_email"] = by_email
|
||||
tmp = contacts_dir / "contacts.json.tmp"
|
||||
with open(tmp, "w", encoding="utf-8") as f:
|
||||
json.dump(contacts_db, f, ensure_ascii=False, indent=2)
|
||||
tmp.replace(contacts_dir / "contacts.json")
|
||||
# index.json
|
||||
with open(contacts_dir / "index.json.tmp", "w", encoding="utf-8") as f:
|
||||
json.dump(by_email, f, ensure_ascii=False, indent=2)
|
||||
tmp2 = contacts_dir / "index.json.tmp"
|
||||
tmp2.replace(contacts_dir / "index.json")
|
||||
if log_entries:
|
||||
log_sync(log_entries)
|
||||
|
||||
return stats, None
|
||||
|
||||
|
||||
def href_for(cid, cards):
|
||||
"""Найти href карточки по uid (имя файла)."""
|
||||
for href in cards:
|
||||
if href.rstrip("/").split("/")[-1].startswith(cid):
|
||||
return href
|
||||
return None
|
||||
|
||||
|
||||
def _vcard_field_names(vcard_text):
|
||||
"""Вернуть имена полей vCard (FN, N, EMAIL, TEL, ...) — для проверки наличия."""
|
||||
names = set()
|
||||
for line in vcard_text.replace("\r\n", "\n").split("\n"):
|
||||
line = line.strip()
|
||||
if not line or ":" not in line:
|
||||
continue
|
||||
key, _, _ = line.partition(":")
|
||||
name = key.split(";")[0].upper()
|
||||
if name not in ("BEGIN", "END", "VERSION", "UID"):
|
||||
names.add(name)
|
||||
return names
|
||||
|
||||
|
||||
def _normalize_vcard(vcard):
|
||||
"""Нормализовать vCard для сравнения.
|
||||
|
||||
Radicale переупорядочивает поля и сворачивает длинные строки
|
||||
(RFC-5545 folding, continuation line начинается с пробела).
|
||||
Сравниваем как упорядоченный мультисет unfolded-строк.
|
||||
"""
|
||||
# Развернуть folding: строка, начинающаяся с пробела/таба — продолжение
|
||||
raw = re.sub(r"\r\n", "\n", vcard)
|
||||
unfolded = []
|
||||
for line in raw.split("\n"):
|
||||
if line.startswith((" ", "\t")) and unfolded:
|
||||
unfolded[-1] = unfolded[-1] + line.strip()
|
||||
else:
|
||||
unfolded.append(line.strip())
|
||||
lines = [l for l in unfolded if l and not l.startswith(("BEGIN:", "END:", "VERSION:", "UID:"))]
|
||||
# Radicale нормализует ADR (добавляет/переставляет пустые ;) — нормализуем и мы
|
||||
norm = []
|
||||
for l in lines:
|
||||
if l.startswith("ADR;"):
|
||||
k, v = l.split(":", 1)
|
||||
# оставить только значение адреса (3-й компонент)
|
||||
parts = v.rstrip(";").split(";")
|
||||
norm.append(f"{k}:;;{parts[2] if len(parts) > 2 else ''};;;")
|
||||
else:
|
||||
norm.append(l)
|
||||
return sorted(norm)
|
||||
|
||||
|
||||
# ─── CLI ──────────────────────────────────────────────────────────────────────
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="CardDAV-синк контактов с Radicale")
|
||||
parser.add_argument("--base-url", default=os.environ.get("CALDAV_URL", DEFAULT_BASE_URL))
|
||||
parser.add_argument("--user", default=os.environ.get("CALDAV_USER", DEFAULT_USER))
|
||||
parser.add_argument("--pass", dest="password", default=None, help="Пароль (или env CALDAV_PASS/RADICALE_PASS)")
|
||||
parser.add_argument("--addressbook", default=DEFAULT_ADDRESSBOOK, help="Имя адресной книги")
|
||||
parser.add_argument("--prune", action="store_true", help="Удалять карточки без контакта в базе")
|
||||
parser.add_argument("--dry-run", action="store_true", help="Не сохранять изменения")
|
||||
parser.add_argument("--verbose", action="store_true", default=True)
|
||||
args = parser.parse_args()
|
||||
|
||||
password = args.password
|
||||
if not password:
|
||||
password = os.environ.get("CALDAV_PASS") or os.environ.get("RADICALE_PASS")
|
||||
if not password:
|
||||
# fallback: radikal .env
|
||||
env_path = Path("/opt/hermes/email-assistant/radicale/.env")
|
||||
try:
|
||||
for line in env_path.read_text().splitlines():
|
||||
if line.startswith("RADICALE_PASS="):
|
||||
password = line.split("=", 1)[1].strip().strip('"').strip("'")
|
||||
break
|
||||
except FileNotFoundError:
|
||||
pass
|
||||
if not password:
|
||||
print("Не задан пароль: --pass / CALDAV_PASS / RADICALE_PASS", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
if args.dry_run:
|
||||
print("🔍 DRY RUN — база не сохраняется")
|
||||
|
||||
stats, err = sync_contacts_carddav(
|
||||
args.base_url, args.user, password, args.addressbook,
|
||||
prune=args.prune, dry_run=args.dry_run,
|
||||
)
|
||||
if err:
|
||||
print(f"❌ {err}", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
print("\n📇 CardDAV sync завершён:")
|
||||
for k, v in stats.items():
|
||||
if v:
|
||||
print(f" {k}: {v}")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -308,6 +308,8 @@ def get_date_from_path(path):
|
||||
def save_progress(contacts_db, contacts_dir, processed_uids, processed_emails):
|
||||
"""Инкрементальное сохранение контактов и last_scan."""
|
||||
contacts_db["contacts"].sort(key=lambda c: c.get("email", ""))
|
||||
# Перестроить by_email — он хранит ИНДЕКСЫ позиций; после сортировки они сдвигаются
|
||||
contacts_db["by_email"] = {c.get("email", ""): i for i, c in enumerate(contacts_db["contacts"])}
|
||||
save_json(contacts_dir / "contacts.json", contacts_db)
|
||||
save_json(contacts_dir / "index.json", contacts_db.get("by_email", {}))
|
||||
generate_vcard(contacts_dir, contacts_db["contacts"])
|
||||
@@ -485,6 +487,7 @@ def scan(limit=0):
|
||||
if save_counter >= 5:
|
||||
save_counter = 0
|
||||
contacts_db["contacts"].sort(key=lambda c: c.get("email", ""))
|
||||
contacts_db["by_email"] = {c.get("email", ""): i for i, c in enumerate(contacts_db["contacts"])}
|
||||
save_json(contacts_dir / "contacts.json", contacts_db)
|
||||
save_json(contacts_dir / "index.json", contacts_db.get("by_email", {}))
|
||||
generate_vcard(contacts_dir, contacts_db["contacts"])
|
||||
|
||||
@@ -0,0 +1,323 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
email_classifier.py — классификация писем локальной LLM (Qwen3:8b через Ollama).
|
||||
|
||||
Читает email.md файлы архива, для каждого письма БЕЗ поля `classification`
|
||||
вызывает Qwen3:8b (localhost:11434), получает JSON с тегом и обоснованием,
|
||||
записывает в frontmatter:
|
||||
|
||||
classification: info|urgent|task|meeting|task,meeting|unclassified
|
||||
classification_reason: "краткое обоснование на русском"
|
||||
meeting_datetime: "YYYY-MM-DD HH:MM" (только для meeting)
|
||||
|
||||
Трекинг обработанных — по наличию `classification` в frontmatter (D2):
|
||||
повторный запуск пропускает уже обработанные письма.
|
||||
|
||||
Запуск:
|
||||
python3 scripts/email_classifier.py # новые письма (свежие первыми)
|
||||
python3 scripts/email_classifier.py --limit 10
|
||||
python3 scripts/email_classifier.py --force # переклассифицировать всё
|
||||
python3 scripts/email_classifier.py --folder INBOX
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import re
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from datetime import datetime
|
||||
from pathlib import Path
|
||||
|
||||
# Конфигурация
|
||||
EMAIL_ROOT = Path("/opt/hermes/email")
|
||||
OLLAMA_URL = "http://localhost:11434/api/generate"
|
||||
OLLAMA_MODEL = "qwen3:8b-nothink" # текстовая задача (без think-токенов — быстрее)
|
||||
LLM_TIMEOUT = 60 # секунд на один запрос (классификация длиннее контактов)
|
||||
MAX_BODY_CHARS = 5000 # как в contacts_extractor
|
||||
TEMP = 0.1
|
||||
|
||||
# Теги классификации (валидные значения поля classification)
|
||||
VALID_TAGS = {"info", "urgent", "task", "meeting"}
|
||||
|
||||
PROMPT_TEMPLATE = """Ты — классификатор входящей почты. Определи тип письма по его тексту.
|
||||
|
||||
Возможные типы (можно комбинировать через запятую):
|
||||
- info: информационное письмо, не требует действий (новости, рассылки, отчёты для сведения)
|
||||
- urgent: требует срочного ответа/действия сегодня (горящие сроки, просьбы ответить)
|
||||
- task: содержит поручение/задачу, которую нужно выполнить (что-то сделать, подготовить, прислать)
|
||||
- meeting: содержит приглашение на встречу/совещание/созвон, или просьбу назначить встречу
|
||||
|
||||
Правила:
|
||||
- Если письмо содержит и задачу, и встречу — верни "task,meeting"
|
||||
- Если явно не указано — лучше info, чем ложное срабатывание
|
||||
- Для meeting попробуй извлечь дату и время из текста (формат "YYYY-MM-DD HH:MM",
|
||||
время в 24-часовом формате, например "2026-09-15 11:00"). Если дата не указана — null.
|
||||
|
||||
Верни ТОЛЬКО JSON, без пояснений:
|
||||
{{"classification": "info", "reason": "1-2 предложения на русском, почему такой тег", "meeting_datetime": null}}
|
||||
|
||||
Тема письма: {subject}
|
||||
Отправитель: {sender}
|
||||
|
||||
Текст письма:
|
||||
{body}
|
||||
"""
|
||||
|
||||
|
||||
def parse_email_md(path):
|
||||
"""Прочитать email.md, вернуть (headers_dict, body_text, raw_content, fm_end)."""
|
||||
content = path.read_text(encoding="utf-8", errors="replace")
|
||||
match = re.match(r"^---\s*\n(.*?)\n---\s*\n(.*)", content, re.DOTALL)
|
||||
if match:
|
||||
yaml_block = match.group(1)
|
||||
body = match.group(2).strip()
|
||||
fm_end = match.end(1) # позиция конца YAML-блока (перед закрывающим ---)
|
||||
headers = {}
|
||||
for line in yaml_block.split("\n"):
|
||||
m = re.match(r"^(\w[\w_-]*)\s*:\s*(.*)$", line)
|
||||
if m:
|
||||
headers[m.group(1)] = m.group(2).strip()
|
||||
else:
|
||||
headers, body, fm_end = {}, content.strip(), None
|
||||
return headers, body, content, fm_end
|
||||
|
||||
|
||||
def clean_body(body):
|
||||
"""Очистка тела письма — переиспользуем логику contacts_extractor."""
|
||||
# Удаляем <#part ...> блоки и HTML-теги
|
||||
body = re.sub(r"<#part[^>]*>", "", body)
|
||||
body = re.sub(r"<#/part>", "", body)
|
||||
body = re.sub(r"<[^>]+>", "", body)
|
||||
body = re.sub(r"\(mailto:[^)]+\)", "", body)
|
||||
# Unicode-пробелы → обычные
|
||||
body = re.sub(r"[\u00a0\u2000-\u200f\u2028-\u202f\u2060]+", " ", body)
|
||||
# Трекинг-ссылки
|
||||
body = re.sub(r"https?://tn-eoc\.[^\s]+", "", body)
|
||||
body = re.sub(r"https?://[^\s]+\?utm_[^\s]+", "", body)
|
||||
# Цитируемая переписка — отрезаем от самого раннего маркера
|
||||
quote_patterns = [
|
||||
r"^[\s]*_{4,}\s*$",
|
||||
r"От:.*\n[\s]*Отправлено:",
|
||||
r"^[\s]*From:.*\n[\s]*Sent:",
|
||||
r"—+.*Forwarded.*—+",
|
||||
r"—+.*Пересылаемое.*—+",
|
||||
r"—+.*Original Message.*—+",
|
||||
r">.*\bwrote:",
|
||||
]
|
||||
earliest_pos = len(body)
|
||||
for qp in quote_patterns:
|
||||
for m in re.finditer(qp, body, re.MULTILINE):
|
||||
if m.start() < earliest_pos:
|
||||
earliest_pos = m.start()
|
||||
if earliest_pos < len(body):
|
||||
body = body[:earliest_pos].strip()
|
||||
else:
|
||||
tail = body[-500:] if len(body) > 500 else body
|
||||
for pattern in [r"От:", r"Отправлено:", r"From:", r"Sent:", r"Кому:", r"To:", r"Тема:", r"Subject:"]:
|
||||
m2 = re.search(pattern, tail)
|
||||
if m2:
|
||||
offset = len(body) - len(tail) + m2.start()
|
||||
body = body[:offset].strip()
|
||||
break
|
||||
lines = [l for l in body.split("\n") if not re.match(r"^\s*>", l)]
|
||||
body = re.sub(r"\n{3,}", "\n\n", "\n".join(lines))
|
||||
return body.strip()
|
||||
|
||||
|
||||
def yaml_quote(v):
|
||||
"""YAML-значение: обернуть в двойные кавычки при спецсимволах."""
|
||||
v = str(v)
|
||||
if v == "":
|
||||
return '""'
|
||||
if re.search(r'[:#\[\]{}&*!|>\'"%@`\n]|^\s|\s$', v):
|
||||
return '"' + v.replace("\\", "\\\\").replace('"', '\\"') + '"'
|
||||
return v
|
||||
|
||||
|
||||
def call_llm(subject, sender, body_text, max_retries=2):
|
||||
"""Вызвать Qwen через Ollama, вернуть dict или None."""
|
||||
body_text = clean_body(body_text)[:MAX_BODY_CHARS]
|
||||
prompt = PROMPT_TEMPLATE.format(subject=subject or "(без темы)", sender=sender or "?", body=body_text)
|
||||
|
||||
for attempt in range(max_retries + 1):
|
||||
if attempt > 0:
|
||||
time.sleep(1)
|
||||
payload = json.dumps({
|
||||
"model": OLLAMA_MODEL,
|
||||
"prompt": prompt,
|
||||
"stream": False,
|
||||
"options": {"temperature": TEMP, "num_predict": 512},
|
||||
}).encode("utf-8")
|
||||
req = urllib.request.Request(OLLAMA_URL, data=payload,
|
||||
headers={"Content-Type": "application/json"}, method="POST")
|
||||
try:
|
||||
resp = urllib.request.urlopen(req, timeout=LLM_TIMEOUT)
|
||||
data = json.loads(resp.read().decode("utf-8"))
|
||||
response_text = data.get("response", "").strip()
|
||||
except (urllib.error.URLError, json.JSONDecodeError, TimeoutError) as e:
|
||||
if attempt < max_retries:
|
||||
continue
|
||||
print(f" ⚠ LLM error: {e}", file=sys.stderr)
|
||||
return None
|
||||
|
||||
if not response_text:
|
||||
if attempt < max_retries:
|
||||
continue
|
||||
print(f" ⚠ LLM empty response", file=sys.stderr)
|
||||
return None
|
||||
|
||||
# Парсим: весь ответ как JSON или { ... } внутри
|
||||
try:
|
||||
return json.loads(response_text)
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
brace_depth, json_start = 0, None
|
||||
for i, ch in enumerate(response_text):
|
||||
if ch == "{":
|
||||
if brace_depth == 0:
|
||||
json_start = i
|
||||
brace_depth += 1
|
||||
elif ch == "}":
|
||||
brace_depth -= 1
|
||||
if brace_depth == 0 and json_start is not None:
|
||||
try:
|
||||
return json.loads(response_text[json_start:i + 1])
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
json_start = None
|
||||
if attempt < max_retries:
|
||||
continue
|
||||
print(f" ⚠ LLM JSON parse error: {response_text[:300]}", file=sys.stderr)
|
||||
return None
|
||||
|
||||
|
||||
def normalize_classification(raw):
|
||||
"""Привести теги к валидному виду (через запятую), вернуть (tags_str, reason, meeting_dt)."""
|
||||
tags_raw = raw.get("classification") or raw.get("tags") or ""
|
||||
if isinstance(tags_raw, list):
|
||||
tags = [t.strip().lower() for t in tags_raw if isinstance(t, str)]
|
||||
else:
|
||||
tags = [t.strip().lower() for t in str(tags_raw).split(",") if t.strip()]
|
||||
# Оставляем только валидные теги
|
||||
tags = [t for t in tags if t in VALID_TAGS]
|
||||
if not tags:
|
||||
return "unclassified", (raw.get("reason") or "").strip(), None
|
||||
tags = sorted(set(tags)) # детерминированный порядок
|
||||
reason = (raw.get("reason") or raw.get("classification_reason") or "").strip()
|
||||
meeting_dt = None
|
||||
if "meeting" in tags:
|
||||
mdt = raw.get("meeting_datetime")
|
||||
if mdt:
|
||||
s = str(mdt).strip()
|
||||
m = re.match(r"^(\d{4}-\d{2}-\d{2})[T ](\d{1,2}:\d{2})", s)
|
||||
if m:
|
||||
meeting_dt = f"{m.group(1)} {m.group(2)}"
|
||||
return ",".join(tags), reason, meeting_dt
|
||||
|
||||
|
||||
def add_to_frontmatter(content, fm_end, fields):
|
||||
"""Добавить поля YAML в frontmatter (перед закрывающим ---)."""
|
||||
add_lines = []
|
||||
for k, v in fields:
|
||||
if v is None or v == "":
|
||||
continue
|
||||
add_lines.append(f"{k}: {yaml_quote(v)}")
|
||||
if not add_lines:
|
||||
return content
|
||||
before = content[:fm_end]
|
||||
after = content[fm_end:]
|
||||
return before + "\n" + "\n".join(add_lines) + after
|
||||
|
||||
|
||||
def find_email_md_files(root, folder=None):
|
||||
"""Найти email.md, опционально в конкретной папке (префикс пути)."""
|
||||
files = []
|
||||
for p in sorted(root.rglob("email.md")):
|
||||
if folder:
|
||||
rel = p.relative_to(root)
|
||||
if not rel.parts[0] == folder:
|
||||
continue
|
||||
files.append(p)
|
||||
return files
|
||||
|
||||
|
||||
def email_sort_key(path):
|
||||
"""Свежие письма первыми: по (году, месяцу) из пути + UID (число)."""
|
||||
parts = path.parts
|
||||
# Ищем в частях пути год (4 цифры), месяц (2), UID (число-каталог > 100)
|
||||
year = next((int(p) for p in parts if re.fullmatch(r"\d{4}", p)), 0)
|
||||
month = next((int(p) for p in parts if re.fullmatch(r"\d{2}", p) and 1 <= int(p) <= 12), 0)
|
||||
uid = next((int(p) for p in parts if p.isdigit() and int(p) > 100), 0)
|
||||
# fallback: mtime файла
|
||||
if not year:
|
||||
try:
|
||||
return (-float(path.stat().st_mtime),)
|
||||
except OSError:
|
||||
return (0,)
|
||||
return (-year, -month, -uid)
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser(description="Классификация писем через Qwen3:8b (Ollama)")
|
||||
ap.add_argument("--limit", type=int, default=0, help="Максимум писем за проход (0 = все)")
|
||||
ap.add_argument("--force", action="store_true", help="Переклассифицировать даже обработанные")
|
||||
ap.add_argument("--folder", default=None, help="Только письма из конкретной папки (INBOX)")
|
||||
args = ap.parse_args()
|
||||
|
||||
print(f"Классификатор: {OLLAMA_MODEL} ({OLLAMA_URL})")
|
||||
files = find_email_md_files(EMAIL_ROOT, args.folder)
|
||||
print(f"Найдено email.md: {len(files)}")
|
||||
|
||||
pending = []
|
||||
for p in files:
|
||||
headers, body, content, fm_end = parse_email_md(p)
|
||||
if not args.force and headers.get("classification"):
|
||||
continue
|
||||
pending.append((p, headers, body, content, fm_end))
|
||||
|
||||
# Свежие первыми
|
||||
pending.sort(key=lambda x: email_sort_key(x[0]))
|
||||
print(f"Классифицировать: {len(pending)}")
|
||||
|
||||
if args.limit > 0:
|
||||
pending = pending[:args.limit]
|
||||
|
||||
processed = 0
|
||||
for p, headers, body, content, fm_end in pending:
|
||||
try:
|
||||
subject = headers.get("subject", "")
|
||||
sender = headers.get("from", "")
|
||||
result = call_llm(subject, sender, body)
|
||||
if result is None:
|
||||
tags, reason, meeting_dt = "unclassified", "LLM не ответила", None
|
||||
else:
|
||||
tags, reason, meeting_dt = normalize_classification(result)
|
||||
|
||||
fields = []
|
||||
if headers.get("classification"):
|
||||
# --force: обновляем, но поля уже есть — перезапишем через добавление
|
||||
fields.append(("classification", tags))
|
||||
fields.append(("classification_reason", reason))
|
||||
if meeting_dt:
|
||||
fields.append(("meeting_datetime", meeting_dt))
|
||||
else:
|
||||
fields.append(("classification", tags))
|
||||
fields.append(("classification_reason", reason))
|
||||
if meeting_dt:
|
||||
fields.append(("meeting_datetime", meeting_dt))
|
||||
|
||||
new_content = add_to_frontmatter(content, fm_end, fields)
|
||||
if new_content != content:
|
||||
p.write_text(new_content, encoding="utf-8")
|
||||
print(f" ✓ {p.parent.parent.parent.name}/{p.parent.name}/{headers.get('subject','')[:50]!r} → {tags}")
|
||||
processed += 1
|
||||
except Exception as e:
|
||||
print(f" ✗ {p}: {e}", file=sys.stderr)
|
||||
|
||||
print(f"\nГотово. Обработано: {processed}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,489 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
email_handlers.py — обработчики по тегам классификации писем.
|
||||
|
||||
Сканирует email.md архива, для писем с тегом classification и без соответствующего
|
||||
поля handled_* в frontmatter выполняет обработчик:
|
||||
|
||||
urgent → Telegram (через Bot API + SOCKS5-туннель; from/subject/превью)
|
||||
task → Radicale CalDAV: VTODO в календарь «Задачи» (SUMMARY=тема,
|
||||
DESCRIPTION=ссылка на email.md, при наличии даты DTSTART/DUE)
|
||||
meeting → Radicale CalDAV: VEVENT в календарь «Рабочий» (SUMMARY=тема,
|
||||
DTSTART из meeting_datetime или ближайший рабочий день 11:00)
|
||||
info → ничего (только тег в frontmatter)
|
||||
|
||||
После успешной обработки в frontmatter пишется handled_urgent/handled_task/
|
||||
handled_meeting: true — повторный запуск не создаёт дубликатов (идемпотентность).
|
||||
|
||||
Секреты — только из .env (рядом со скриптом):
|
||||
RADICALE_URL / RADICALE_USER / RADICALE_PASS — доступ к Radicale
|
||||
VESTI_BOT_TOKEN (или TELEGRAM_BOT_TOKEN) — токен бота Telegram
|
||||
TG_PROXY — SOCKS5 до Bot API (по умолчанию socks5://127.0.0.1:1080)
|
||||
TELEGRAM_CHAT_ID — куда слать urgent (по умолчанию @dedinit_vesti)
|
||||
|
||||
Запуск:
|
||||
python3 scripts/email_handlers.py # все необработанные
|
||||
python3 scripts/email_handlers.py --limit 10
|
||||
python3 scripts/email_handlers.py --folder INBOX
|
||||
python3 scripts/email_handlers.py --dry-run # показать, что бы сделал
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import http.client
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from datetime import datetime, timedelta
|
||||
from functools import lru_cache
|
||||
from pathlib import Path
|
||||
|
||||
try:
|
||||
from dotenv import load_dotenv
|
||||
except ImportError:
|
||||
load_dotenv = None
|
||||
|
||||
|
||||
def _load_env_file(path):
|
||||
"""Загрузить KEY=VALUE из .env-файла, не перезаписывая уже заданные env.
|
||||
|
||||
stdlib-фолбэк python-dotenv (в проекте нет сторонних зависимостей).
|
||||
"""
|
||||
p = Path(path)
|
||||
if not p.exists():
|
||||
return
|
||||
try:
|
||||
lines = p.read_text(encoding="utf-8").splitlines()
|
||||
except OSError:
|
||||
return
|
||||
for line in lines:
|
||||
line = line.strip()
|
||||
if not line or line.startswith("#") or "=" not in line:
|
||||
continue
|
||||
key, _, val = line.partition("=")
|
||||
key = key.strip()
|
||||
val = val.strip().strip('"').strip("'")
|
||||
if key and key not in os.environ:
|
||||
os.environ[key] = val
|
||||
|
||||
# Каталог скрипта → .env рядом с проектом (+ radicale/.env для RADICALE_PASS)
|
||||
BASE_DIR = Path(__file__).resolve().parents[1]
|
||||
if load_dotenv:
|
||||
load_dotenv(BASE_DIR / ".env", override=False)
|
||||
# radicale/.env — фактический источник RADICALE_PASS (проектного .env нет)
|
||||
load_dotenv(BASE_DIR / "radicale" / ".env", override=False)
|
||||
else:
|
||||
_load_env_file(BASE_DIR / ".env")
|
||||
_load_env_file(BASE_DIR / "radicale" / ".env")
|
||||
# Токен Telegram живёт в /opt/vesti/.env (проект-источник бота @dedinit_vesti);
|
||||
# опционально: если файл есть, берём VESTI_BOT_TOKEN/TELEGRAM_CHAT_ID оттуда.
|
||||
vesti_env = Path("/opt/vesti/.env")
|
||||
if vesti_env.exists():
|
||||
_load_env_file(vesti_env)
|
||||
|
||||
EMAIL_ROOT = Path(os.getenv("EMAIL_ROOT", "/opt/hermes/email"))
|
||||
|
||||
# --- Radicale (CalDAV) ---
|
||||
RADICALE_URL = os.getenv("RADICALE_URL", "http://127.0.0.1:5232").rstrip("/")
|
||||
RADICALE_USER = os.getenv("RADICALE_USER", "estorozhenko")
|
||||
RADICALE_PASS = os.getenv("RADICALE_PASS", "")
|
||||
# Календари (percent-encoded, «Задачи» и «Рабочий» — кириллица)
|
||||
TASKS_CAL = os.getenv("RADICALE_TASKS_CAL", "%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8") # Задачи
|
||||
WORK_CAL = os.getenv("RADICALE_WORK_CAL", "%D0%A0%D0%B0%D0%B1%D0%BE%D1%87%D0%B8%D0%B9") # Рабочий
|
||||
|
||||
# --- Telegram (Bot API через SOCKS5) ---
|
||||
TG_TOKEN = os.getenv("VESTI_BOT_TOKEN") or os.getenv("TELEGRAM_BOT_TOKEN") or ""
|
||||
TG_PROXY = os.getenv("TG_PROXY", "socks5://127.0.0.1:1080")
|
||||
TG_CHAT_ID = os.getenv("TELEGRAM_CHAT_ID", "@dedinit_vesti")
|
||||
TG_API = "https://api.telegram.org"
|
||||
|
||||
# --- Общие ---
|
||||
LLM_TIMEOUT = 20
|
||||
MAX_PREVIEW_CHARS = 400 # превью письма для Telegram
|
||||
TG_TIMEOUT = 20
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Frontmatter
|
||||
# ---------------------------------------------------------------------------
|
||||
def parse_email_md(path):
|
||||
"""Прочитать email.md, вернуть (headers, body, content, fm_end)."""
|
||||
content = path.read_text(encoding="utf-8", errors="replace")
|
||||
match = re.match(r"^---\s*\n(.*?)\n---\s*\n(.*)", content, re.DOTALL)
|
||||
if match:
|
||||
yaml_block = match.group(1)
|
||||
body = match.group(2).strip()
|
||||
fm_end = match.end(1)
|
||||
headers = {}
|
||||
for line in yaml_block.split("\n"):
|
||||
m = re.match(r"^(\w[\w_-]*)\s*:\s*(.*)$", line)
|
||||
if m:
|
||||
headers[m.group(1)] = m.group(2).strip()
|
||||
else:
|
||||
headers, body, fm_end = {}, content.strip(), None
|
||||
return headers, body, content, fm_end
|
||||
|
||||
|
||||
def yaml_quote(v):
|
||||
"""YAML-значение: обернуть в двойные кавычки при спецсимволах."""
|
||||
v = str(v)
|
||||
if v == "":
|
||||
return '""'
|
||||
if re.search(r'[:#\[\]{}&*!|>\'"%@`\n]|^\s|\s$', v):
|
||||
return '"' + v.replace("\\", "\\\\").replace('"', '\\"') + '"'
|
||||
return v
|
||||
|
||||
|
||||
def add_to_frontmatter(content, fm_end, fields):
|
||||
"""Добавить поля в frontmatter (перед закрывающим ---)."""
|
||||
add_lines = []
|
||||
for k, v in fields:
|
||||
if v is None or v == "":
|
||||
continue
|
||||
add_lines.append(f"{k}: {yaml_quote(v)}")
|
||||
if not add_lines:
|
||||
return content
|
||||
before = content[:fm_end]
|
||||
after = content[fm_end:]
|
||||
return before + "\n" + "\n".join(add_lines) + after
|
||||
|
||||
|
||||
def mark_handled(path, tag):
|
||||
"""Пометить письмо handled_<tag>: true. Возвращает True при изменении."""
|
||||
headers, body, content, fm_end = parse_email_md(path)
|
||||
if fm_end is None:
|
||||
return False
|
||||
key = f"handled_{tag}"
|
||||
if headers.get(key) == "true":
|
||||
return False
|
||||
new_content = add_to_frontmatter(content, fm_end, [(key, "true")])
|
||||
if new_content != content:
|
||||
path.write_text(new_content, encoding="utf-8")
|
||||
return True
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Radicale (CalDAV)
|
||||
# ---------------------------------------------------------------------------
|
||||
def _caldav(path: str, method="GET", body=None, content_type=None):
|
||||
"""Базовый HTTP к Radicale с Basic-auth через http.client.
|
||||
|
||||
path — ПОЛНЫЙ URL (например http://127.0.0.1:5232/estorozhenko/...).
|
||||
urllib.request не умеет URL с percent-encoded кириллицей в пути
|
||||
(Errno -2 Name or service not known), поэтому используем http.client
|
||||
напрямую — он корректно работает с encoded path.
|
||||
Возвращает (status, text).
|
||||
"""
|
||||
import base64
|
||||
from urllib.parse import urlsplit
|
||||
|
||||
if not path.startswith("http"):
|
||||
path = RADICALE_URL + path
|
||||
parsed = urlsplit(path)
|
||||
conn = http.client.HTTPConnection(parsed.hostname, parsed.port, timeout=LLM_TIMEOUT)
|
||||
full_path = parsed.path + (("?" + parsed.query) if parsed.query else "")
|
||||
headers = {}
|
||||
if content_type:
|
||||
headers["Content-Type"] = content_type
|
||||
if method == "PROPFIND":
|
||||
headers["Depth"] = "1"
|
||||
cred = base64.b64encode(f"{RADICALE_USER}:{RADICALE_PASS}".encode()).decode()
|
||||
headers["Authorization"] = f"Basic {cred}"
|
||||
try:
|
||||
conn.request(method, full_path, body=body, headers=headers)
|
||||
resp = conn.getresponse()
|
||||
return resp.status, resp.read().decode("utf-8", errors="replace")
|
||||
except Exception as e:
|
||||
return 0, str(e)
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def ics_escape(s):
|
||||
"""Экранирование значений iCalendar (RFC 5545): backslash, semicolon, comma, переносы."""
|
||||
s = str(s).replace("\\", "\\\\").replace(";", "\\;").replace(",", "\\,")
|
||||
return s.replace("\r\n", "\\n").replace("\n", "\\n")
|
||||
|
||||
|
||||
@lru_cache(maxsize=1)
|
||||
def find_calendar_url():
|
||||
"""Определить URL коллекций «Задачи» и «Рабочий» из PROPFIND (xml.etree)."""
|
||||
status, text = _caldav(f"/{RADICALE_USER}/", "PROPFIND", body=b"", content_type="application/xml")
|
||||
found: dict = {"Задачи": None, "Рабочий": None}
|
||||
if status != 207:
|
||||
return found
|
||||
try:
|
||||
import xml.etree.ElementTree as ET
|
||||
root = ET.fromstring(text)
|
||||
# Пространства имён: DAV: (по умолчанию), C: — caldav
|
||||
ns = {"d": "DAV:", "c": "urn:ietf:params:xml:ns:caldav"}
|
||||
for resp in root.findall("d:response", ns):
|
||||
href_el = resp.find("d:href", ns)
|
||||
if href_el is None:
|
||||
continue
|
||||
href = (href_el.text or "").strip()
|
||||
rt = resp.find(".//d:resourcetype", ns)
|
||||
if rt is None:
|
||||
continue
|
||||
is_cal = rt.find("c:calendar", ns) is not None
|
||||
if not is_cal:
|
||||
continue
|
||||
import urllib.parse
|
||||
dec = urllib.parse.unquote(href)
|
||||
for name, key in [("Задачи", "Задачи"), ("Рабочий", "Рабочий")]:
|
||||
if key in dec and found[name] is None:
|
||||
found[name] = RADICALE_URL + href
|
||||
except Exception as e:
|
||||
print(f" ⚠ find_calendar_url: {e}", file=sys.stderr)
|
||||
return found
|
||||
|
||||
|
||||
def vtodo(uid, summary, description, due_dt=None):
|
||||
"""Сформировать VTODO (iCalendar). due_dt: 'YYYY-MM-DD HH:MM' или None."""
|
||||
now = datetime.now().strftime("%Y%m%dT%H%M%S")
|
||||
lines = [
|
||||
"BEGIN:VCALENDAR",
|
||||
"VERSION:2.0",
|
||||
"PRODID:-//email-assistant//VTODO//RU",
|
||||
"BEGIN:VTODO",
|
||||
f"UID:{uid}@email-assistant",
|
||||
f"DTSTAMP:{now}",
|
||||
f"SUMMARY:{ics_escape(summary)}",
|
||||
f"DESCRIPTION:{ics_escape(description)}",
|
||||
]
|
||||
if due_dt:
|
||||
lines.append(f"DUE:{due_dt.replace(' ', 'T')}:00")
|
||||
lines += ["STATUS:NEEDS-ACTION", "END:VTODO", "END:VCALENDAR"]
|
||||
return "\r\n".join(lines)
|
||||
|
||||
|
||||
def vevent(uid, summary, description, start_dt, duration_min=60):
|
||||
"""Сформировать VEVENT. start_dt: 'YYYY-MM-DD HH:MM'."""
|
||||
now = datetime.now().strftime("%Y%m%dT%H%M%S")
|
||||
start = datetime.strptime(start_dt, "%Y-%m-%d %H:%M")
|
||||
start_ics = start.strftime("%Y%m%dT%H%M%S")
|
||||
end_ics = (start + timedelta(minutes=duration_min)).strftime("%Y%m%dT%H%M%S")
|
||||
lines = [
|
||||
"BEGIN:VCALENDAR",
|
||||
"VERSION:2.0",
|
||||
"PRODID:-//email-assistant//VEVENT//RU",
|
||||
"BEGIN:VEVENT",
|
||||
f"UID:{uid}@email-assistant",
|
||||
f"DTSTAMP:{now}",
|
||||
f"SUMMARY:{ics_escape(summary)}",
|
||||
f"DESCRIPTION:{ics_escape(description)}",
|
||||
f"DTSTART:{start_ics}",
|
||||
f"DTEND:{end_ics}",
|
||||
"END:VEVENT",
|
||||
"END:VCALENDAR",
|
||||
]
|
||||
return "\r\n".join(lines)
|
||||
|
||||
|
||||
def next_workday_1100(now=None):
|
||||
"""Ближайший будний день (пн-пт) в 11:00. now: datetime."""
|
||||
now = now or datetime.now()
|
||||
d = now
|
||||
while d.weekday() >= 5: # сб/вс
|
||||
d += timedelta(days=1)
|
||||
return d.strftime("%Y-%m-%d") + " 11:00"
|
||||
|
||||
|
||||
def handle_task(path, headers, body):
|
||||
"""Создать VTODO в Radicale «Задачи». Возвращает (ok, detail)."""
|
||||
summary = (headers.get("subject") or "(без темы)").strip()
|
||||
# UID стабильный: от пути письма
|
||||
rel = path.relative_to(EMAIL_ROOT) if EMAIL_ROOT in path.parents else path
|
||||
uid = re.sub(r"[^a-zA-Z0-9]+", "-", str(rel)).strip("-")
|
||||
description = f"Из письма: {path}"
|
||||
due = None
|
||||
mdt = headers.get("meeting_datetime") or headers.get("date")
|
||||
if mdt:
|
||||
mdt = mdt.replace("T", " ")[:16]
|
||||
if re.match(r"^\d{4}-\d{2}-\d{2} \d{2}:\d{2}$", mdt):
|
||||
due = mdt
|
||||
# URL коллекции «Задачи»
|
||||
cals = find_calendar_url()
|
||||
cal_url = cals.get("Задачи")
|
||||
if not cal_url:
|
||||
return False, "Коллекция «Задачи» не найдена в PROPFIND"
|
||||
ics = vtodo(uid, summary, description, due)
|
||||
resp_status, resp_text = _caldav(cal_url + uid + ".ics", "PUT", body=ics.encode("utf-8"),
|
||||
content_type="text/calendar; charset=utf-8")
|
||||
if resp_status in (200, 201, 204):
|
||||
return True, f"VTODO создан ({resp_status})"
|
||||
return False, f"PUT {resp_status}: {resp_text[:200]}"
|
||||
|
||||
|
||||
def handle_meeting(path, headers, body):
|
||||
"""Создать VEVENT в Radicale «Рабочий». Возвращает (ok, detail)."""
|
||||
summary = (headers.get("subject") or "(без темы)").strip()
|
||||
rel = path.relative_to(EMAIL_ROOT) if EMAIL_ROOT in path.parents else path
|
||||
uid = re.sub(r"[^a-zA-Z0-9]+", "-", str(rel)).strip("-")
|
||||
description = f"Из письма: {path}"
|
||||
start = None
|
||||
mdt = headers.get("meeting_datetime")
|
||||
if mdt:
|
||||
mdt = mdt.replace("T", " ")[:16]
|
||||
if re.match(r"^\d{4}-\d{2}-\d{2} \d{2}:\d{2}$", mdt):
|
||||
start = mdt
|
||||
if not start:
|
||||
start = next_workday_1100()
|
||||
cals = find_calendar_url()
|
||||
cal_url = cals.get("Рабочий")
|
||||
if not cal_url:
|
||||
return False, "Коллекция «Рабочий» не найдена в PROPFIND"
|
||||
ics = vevent(uid, summary, description, start)
|
||||
resp_status, resp_text = _caldav(cal_url + uid + ".ics", "PUT", body=ics.encode("utf-8"),
|
||||
content_type="text/calendar; charset=utf-8")
|
||||
if resp_status in (200, 201, 204):
|
||||
return True, f"VEVENT создан ({resp_status})"
|
||||
return False, f"PUT {resp_status}: {resp_text[:200]}"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Telegram (Bot API через SOCKS5)
|
||||
# ---------------------------------------------------------------------------
|
||||
def tg_client():
|
||||
"""httpx.Client с SOCKS5-прокси. Путь прокси из TG_PROXY."""
|
||||
try:
|
||||
import httpx
|
||||
except ImportError:
|
||||
return None
|
||||
return httpx.Client(proxy=TG_PROXY, timeout=TG_TIMEOUT)
|
||||
|
||||
|
||||
def tg_call(method, **params):
|
||||
"""Вызвать метод Bot API. Возвращает result dict. Ошибки -> исключение."""
|
||||
if not TG_TOKEN:
|
||||
raise RuntimeError("Нет токена Telegram (VESTI_BOT_TOKEN/TELEGRAM_BOT_TOKEN не задан)")
|
||||
client = tg_client()
|
||||
if client is None:
|
||||
raise RuntimeError("httpx не установлен — нужен для Telegram")
|
||||
try:
|
||||
with client:
|
||||
r = client.post(f"{TG_API}/bot{TG_TOKEN}/{method}", json=params, timeout=TG_TIMEOUT)
|
||||
except Exception as e:
|
||||
raise RuntimeError(f"Сеть/прокси до Bot API: {e}") from e
|
||||
if r.status_code != 200:
|
||||
try:
|
||||
desc = r.json().get("description", "")
|
||||
except Exception:
|
||||
desc = r.text[:200]
|
||||
raise RuntimeError(f"Bot API {method}: HTTP {r.status_code} {desc}")
|
||||
data = r.json()
|
||||
if not data.get("ok"):
|
||||
raise RuntimeError(f"Bot API {method}: {data.get('description','')}")
|
||||
return data.get("result", {})
|
||||
|
||||
|
||||
def handle_urgent(path, headers, body):
|
||||
"""Отправить уведомление в Telegram. Возвращает (ok, detail)."""
|
||||
subject = (headers.get("subject") or "(без темы)").strip()
|
||||
sender = (headers.get("from") or "?").strip()
|
||||
preview = body.strip()
|
||||
if len(preview) > MAX_PREVIEW_CHARS:
|
||||
preview = preview[:MAX_PREVIEW_CHARS].rstrip() + "…"
|
||||
text = (
|
||||
f"⚠️ СРОЧНОЕ письмо\n\n"
|
||||
f"От: {sender}\n"
|
||||
f"Тема: {subject}\n\n"
|
||||
f"{preview}\n\n"
|
||||
f"Письмо: file://{path}"
|
||||
)
|
||||
try:
|
||||
result = tg_call("sendMessage", chat_id=TG_CHAT_ID, text=text,
|
||||
link_preview_options={"is_disabled": True})
|
||||
msg_id = result.get("message_id")
|
||||
return True, f"Отправлено в {TG_CHAT_ID} (msg_id={msg_id})"
|
||||
except Exception as e:
|
||||
return False, f"Telegram: {e}"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Основной проход
|
||||
# ---------------------------------------------------------------------------
|
||||
def find_email_md_files(root, folder=None):
|
||||
files = []
|
||||
for p in sorted(root.rglob("email.md")):
|
||||
if folder:
|
||||
rel = p.relative_to(root)
|
||||
if not rel.parts[0] == folder:
|
||||
continue
|
||||
files.append(p)
|
||||
return files
|
||||
|
||||
|
||||
def email_sort_key(path):
|
||||
"""Свежие письма первыми."""
|
||||
import re as _re
|
||||
parts = path.parts
|
||||
year = next((int(p) for p in parts if _re.fullmatch(r"\d{4}", p)), 0)
|
||||
month = next((int(p) for p in parts if _re.fullmatch(r"\d{2}", p) and 1 <= int(p) <= 12), 0)
|
||||
uid = next((int(p) for p in parts if p.isdigit() and int(p) > 100), 0)
|
||||
if not year:
|
||||
try:
|
||||
return (-float(path.stat().st_mtime),)
|
||||
except OSError:
|
||||
return (0,)
|
||||
return (-year, -month, -uid)
|
||||
|
||||
|
||||
HANDLERS = {
|
||||
"urgent": handle_urgent,
|
||||
"task": handle_task,
|
||||
"meeting": handle_meeting,
|
||||
}
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser(description="Обработчики по тегам классификации писем")
|
||||
ap.add_argument("--limit", type=int, default=0, help="Максимум писем за проход")
|
||||
ap.add_argument("--folder", default=None, help="Только папка (INBOX)")
|
||||
ap.add_argument("--dry-run", action="store_true", help="Не писать, только показать")
|
||||
args = ap.parse_args()
|
||||
|
||||
files = find_email_md_files(EMAIL_ROOT, args.folder)
|
||||
pending = []
|
||||
for p in files:
|
||||
headers, body, content, fm_end = parse_email_md(p)
|
||||
cls = headers.get("classification", "")
|
||||
if not cls:
|
||||
continue
|
||||
tags = [t.strip() for t in cls.split(",") if t.strip()]
|
||||
need = [t for t in tags if t in HANDLERS and headers.get(f"handled_{t}") != "true"]
|
||||
if need:
|
||||
pending.append((p, headers, body, need))
|
||||
pending.sort(key=lambda x: email_sort_key(x[0]))
|
||||
print(f"Обработать: {len(pending)}")
|
||||
|
||||
if args.limit > 0:
|
||||
pending = pending[:args.limit]
|
||||
|
||||
results = {"urgent": 0, "task": 0, "meeting": 0, "errors": 0}
|
||||
for p, headers, body, need in pending:
|
||||
for tag in need:
|
||||
handler = HANDLERS[tag]
|
||||
try:
|
||||
ok, detail = handler(p, headers, body)
|
||||
if ok:
|
||||
if not args.dry_run:
|
||||
mark_handled(p, tag)
|
||||
results[tag] += 1
|
||||
print(f" ✓ [{tag}] {p.parent.parent.parent.name}/{p.parent.name}: {detail}")
|
||||
else:
|
||||
results["errors"] += 1
|
||||
print(f" ✗ [{tag}] {p.parent.parent.parent.name}/{p.parent.name}: {detail}", file=sys.stderr)
|
||||
except Exception as e:
|
||||
results["errors"] += 1
|
||||
print(f" ✗ [{tag}] {p}: {e}", file=sys.stderr)
|
||||
|
||||
print(f"\nГотово: urgent={results['urgent']}, task={results['task']}, meeting={results['meeting']}, ошибок={results['errors']}")
|
||||
if args.dry_run:
|
||||
print("(dry-run: ничего не записано и не отправлено)")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+12
@@ -0,0 +1,12 @@
|
||||
#!/usr/bin/env bash
|
||||
# Классификация новых писем + обработчики — запускается после mail-archive.
|
||||
# Цепочка: mail-archive (5 min) → classifier (лимит, дозированно) → handlers.
|
||||
set -euo pipefail
|
||||
|
||||
cd /opt/hermes/email-assistant
|
||||
|
||||
# Классификатор: до 10 новых писем за запуск (Qwen ~10-20с/письмо = ~3 мин)
|
||||
python3 scripts/email_classifier.py --limit 10 || echo "[classifier] ошибка (продолжаем)" >&2
|
||||
|
||||
# Обработчики: все письма с тегами, без handled_* (идемпотентно)
|
||||
python3 scripts/email_handlers.py || echo "[handlers] ошибка" >&2
|
||||
+151
-9
@@ -39,18 +39,35 @@ import sys
|
||||
import argparse
|
||||
import re
|
||||
import hashlib
|
||||
import os
|
||||
from datetime import datetime
|
||||
from pathlib import Path
|
||||
|
||||
# Конфигурация
|
||||
ARCHIVE_ROOT = Path("/opt/hermes/email")
|
||||
STATE_DIR = ARCHIVE_ROOT / "state"
|
||||
HIMALAYA_CMD = ["himalaya"]
|
||||
|
||||
# Himalaya конфиг: берём из ~/.config/himalaya/config.toml (HOME пользователя).
|
||||
# В текущей сессии HOME=/opt/hermes/.hermes/home, поэтому явно подставляем
|
||||
# реальный HOME из HERMES_REAL_HOME, иначе himalaya не найдёт конфиг.
|
||||
def _himalaya_cmd():
|
||||
cmd = ["himalaya"]
|
||||
real_home = os.environ.get("HERMES_REAL_HOME") or os.path.expanduser("~")
|
||||
if real_home != os.path.expanduser("~"):
|
||||
cmd = ["env", f"HOME={real_home}"] + cmd
|
||||
return cmd
|
||||
|
||||
HIMALAYA_CMD = _himalaya_cmd()
|
||||
|
||||
# Папки для полной архивации (основные папки)
|
||||
FOLDERS = ["INBOX", "Отправленные", "Archive", "Sent"]
|
||||
|
||||
# Вложенные папки INBOX, которые тоже архивируем
|
||||
#
|
||||
# ⚠️ Вместо захардкоженного списка используем динамическое обнаружение
|
||||
# через `himalaya folder list` (см. get_inbox_subfolders()). Список ниже
|
||||
# оставлен как FALLBACK на случай, если himalaya запущен без конфига
|
||||
# (например, автономный запуск вне сессии и без HOME пользователя).
|
||||
INBOX_SUBFOLDERS = [
|
||||
"INBOX/!Scan",
|
||||
"INBOX/!Битрикс",
|
||||
@@ -72,6 +89,21 @@ INBOX_SUBFOLDERS = [
|
||||
"INBOX/Эксплуатация",
|
||||
]
|
||||
|
||||
# Папки, которые НЕ архивируем (системные/мусор)
|
||||
EXCLUDED_FOLDERS = {
|
||||
"INBOX",
|
||||
"Drafts",
|
||||
"Trash",
|
||||
"Trash/archive",
|
||||
"Archive",
|
||||
"Archives",
|
||||
"RSS-каналы",
|
||||
"Junk",
|
||||
"Spam",
|
||||
"Sent",
|
||||
"Отправленные",
|
||||
}
|
||||
|
||||
# Какие дополнительные заголовки вытягивать через --header
|
||||
EXTRA_HEADERS = [
|
||||
"Message-ID",
|
||||
@@ -84,12 +116,16 @@ EXTRA_HEADERS = [
|
||||
|
||||
def run_cmd(cmd, timeout=60):
|
||||
"""Выполнить команду, вернуть stdout."""
|
||||
try:
|
||||
result = subprocess.run(
|
||||
cmd,
|
||||
stdout=subprocess.PIPE,
|
||||
stderr=subprocess.PIPE,
|
||||
timeout=timeout,
|
||||
)
|
||||
except FileNotFoundError:
|
||||
# himalaya не найден в PATH (автономный запуск без окружения)
|
||||
raise RuntimeError(f"Command not found: {cmd[0]}")
|
||||
if result.returncode != 0:
|
||||
stderr_text = result.stderr.decode("utf-8", errors="ignore")
|
||||
if "No such folder" in stderr_text:
|
||||
@@ -98,6 +134,64 @@ def run_cmd(cmd, timeout=60):
|
||||
return result.stdout.decode("utf-8", errors="ignore")
|
||||
|
||||
|
||||
# Таймаут для envelope list: на больших папках (10k+ писем) himalaya
|
||||
# перечисляет страницы медленно (IMAP через STARTTLS). 60с не хватает —
|
||||
# INBOX (14k) занимает >2 мин. Даём 180с (как в mail-archive.sh DRAIN_TIMEOUT).
|
||||
ENVELOPE_TIMEOUT = 180
|
||||
|
||||
|
||||
def get_inbox_subfolders():
|
||||
"""
|
||||
Динамически получить список подпапок INBOX через `himalaya folder list`.
|
||||
|
||||
Himalaya выводит таблицу (ASCII-арт). Вытаскиваем имена папок,
|
||||
начинающиеся с 'INBOX/' (исключая саму INBOX и системные папки).
|
||||
|
||||
Возвращает отсортированный список подпапок INBOX.
|
||||
Папки, которые исчезли на сервере, пропускаем (archive_folder обработает
|
||||
их как 'No such folder' → вернёт 0).
|
||||
Штатно используется fallback INBOX_SUBFOLDERS, если himalaya не смог
|
||||
выполниться (нет конфига, ошибка сети и т.п.).
|
||||
"""
|
||||
try:
|
||||
stdout = run_cmd(
|
||||
HIMALAYA_CMD + ["folder", "list"],
|
||||
timeout=60,
|
||||
)
|
||||
except RuntimeError as e:
|
||||
print(f" [WARN] Не удалось получить список папок: {e}; "
|
||||
f"использую fallback ({len(INBOX_SUBFOLDERS)} папок)",
|
||||
file=sys.stderr)
|
||||
return INBOX_SUBFOLDERS
|
||||
|
||||
folders = []
|
||||
for line in stdout.splitlines():
|
||||
# Таблица himalaya: "| INBOX/путь | \HasNoChildren |"
|
||||
line = line.strip()
|
||||
if not line.startswith("|"):
|
||||
continue
|
||||
parts = [p.strip() for p in line.strip("|").split("|")]
|
||||
if not parts:
|
||||
continue
|
||||
name = parts[0]
|
||||
# Пропускаем шапку-разделитель ("----------------")
|
||||
if not name or set(name) <= set("- "):
|
||||
continue
|
||||
if name in EXCLUDED_FOLDERS:
|
||||
continue
|
||||
if name.startswith("INBOX/"):
|
||||
folders.append(name)
|
||||
|
||||
# Fallback на хардкод, если himalaya вернул пусто (нет сети/прав)
|
||||
if not folders:
|
||||
print(f" [WARN] himalaya folder list вернул 0 подпапок INBOX; "
|
||||
f"использую fallback ({len(INBOX_SUBFOLDERS)} папок)",
|
||||
file=sys.stderr)
|
||||
return INBOX_SUBFOLDERS
|
||||
|
||||
return sorted(set(folders))
|
||||
|
||||
|
||||
def get_state_file(folder):
|
||||
"""Получить путь к файлу состояния для папки."""
|
||||
safe_name = folder.replace("/", "_").replace(" ", "_")
|
||||
@@ -179,7 +273,7 @@ def get_envelopes(folder, limit=100, last_uid=0):
|
||||
"--page-size", str(page_size),
|
||||
"--output", "json",
|
||||
],
|
||||
timeout=60,
|
||||
timeout=ENVELOPE_TIMEOUT,
|
||||
)
|
||||
except RuntimeError as e:
|
||||
if "No such folder" in str(e):
|
||||
@@ -304,18 +398,34 @@ def make_email_md(meta, extra_headers, body, folder_name):
|
||||
|
||||
|
||||
def get_attachments(uid, folder, dest_dir):
|
||||
"""Скачать вложения письма в dest_dir."""
|
||||
"""
|
||||
Скачать вложения письма в dest_dir.
|
||||
|
||||
Спек email-attachments: правильный флаг — `--downloads-dir` (не `--dir`).
|
||||
Идемпотентность: если в dest_dir уже есть файлы — не качаем повторно.
|
||||
"""
|
||||
try:
|
||||
existing = list(dest_dir.iterdir()) if dest_dir.exists() else []
|
||||
if existing:
|
||||
print(f" вложения уже скачаны ({len(existing)} ф.) — пропускаю")
|
||||
return
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
try:
|
||||
run_cmd(
|
||||
HIMALAYA_CMD + [
|
||||
"attachment", "download", str(uid),
|
||||
"--folder", folder,
|
||||
"--dir", str(dest_dir),
|
||||
"--downloads-dir", str(dest_dir),
|
||||
],
|
||||
timeout=60,
|
||||
)
|
||||
except RuntimeError:
|
||||
pass # нет вложений — норм
|
||||
except RuntimeError as e:
|
||||
# Нет вложений / письмо не имеет вложений — норм для has_attachment=false.
|
||||
# Но если письмо помечено has_attachment=true, а скачать не вышло —
|
||||
# оставляем пустую папку и пишем warning (письмо не теряется).
|
||||
print(f" [WARN] вложения не скачаны: {e}", file=sys.stderr)
|
||||
|
||||
|
||||
def archive_folder(folder, limit=100):
|
||||
@@ -360,10 +470,9 @@ def archive_folder(folder, limit=100):
|
||||
date_str = env.get("date") or env.get("internal_date") or ""
|
||||
year, month = parse_date(date_str)
|
||||
|
||||
# Путь: /mnt/yandex-disk/hermes/email/<folder>/YYYY/MM/UID/
|
||||
# Путь: /opt/hermes/email/<folder>/YYYY/MM/UID/
|
||||
msg_dir = ARCHIVE_ROOT / folder / f"{year:04d}" / f"{month:02d}" / str(uid)
|
||||
email_path = msg_dir / "email.md"
|
||||
attachments_dir = msg_dir / "attachments"
|
||||
|
||||
# Проверка — уже сохранено
|
||||
if email_path.exists():
|
||||
@@ -373,6 +482,12 @@ def archive_folder(folder, limit=100):
|
||||
continue
|
||||
|
||||
msg_dir.mkdir(parents=True, exist_ok=True)
|
||||
has_attachment = bool(env.get("has_attachment", False))
|
||||
# Папку attachments/ создаём ТОЛЬКО если у письма есть вложения
|
||||
# (спек email-attachments: без вложений пустую папку не создаём).
|
||||
attachments_dir = None
|
||||
if has_attachment:
|
||||
attachments_dir = msg_dir / "attachments"
|
||||
attachments_dir.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
# Получаем заголовки и тело
|
||||
@@ -383,6 +498,7 @@ def archive_folder(folder, limit=100):
|
||||
email_path.write_text(content, encoding="utf-8")
|
||||
|
||||
# Вложения
|
||||
if attachments_dir is not None:
|
||||
get_attachments(uid, folder, attachments_dir)
|
||||
|
||||
subj = (env.get("subject") or "")[:60]
|
||||
@@ -413,19 +529,45 @@ def main():
|
||||
"--all", action="store_true",
|
||||
help="Архивировать включая вложенные папки INBOX"
|
||||
)
|
||||
parser.add_argument(
|
||||
"--drain", action="store_true",
|
||||
help="Скачивать ВСЮ почту до конца: повторять проходы по каждой папке, "
|
||||
"пока за проход не обработано 0 писем (сколько бы ни накопилось сверх --limit)"
|
||||
)
|
||||
args = parser.parse_args()
|
||||
|
||||
# Определить список папок
|
||||
if args.folder:
|
||||
folders_to_archive = [args.folder]
|
||||
elif args.all:
|
||||
folders_to_archive = FOLDERS + INBOX_SUBFOLDERS
|
||||
# Динамическое обнаружение: получаем актуальные подпапки INBOX
|
||||
# через himalaya folder list (с fallback на хардкод)
|
||||
folders_to_archive = FOLDERS + get_inbox_subfolders()
|
||||
else:
|
||||
folders_to_archive = FOLDERS
|
||||
|
||||
total = 0
|
||||
for folder in folders_to_archive:
|
||||
try:
|
||||
if args.drain:
|
||||
# Режим "высушить": повторяем проходы, пока папка не опустеет
|
||||
# (новые письма могут приходить во время скачивания — шли процесс
|
||||
# идёт, пока проход не вернёт 0).
|
||||
folder_total = 0
|
||||
# Предохранитель от бесконечного цикла: не больше N проходов.
|
||||
max_passes = 10_000
|
||||
passes = 0
|
||||
while passes < max_passes:
|
||||
count = archive_folder(folder, limit=args.limit)
|
||||
folder_total += count
|
||||
passes += 1
|
||||
if count == 0:
|
||||
break
|
||||
total += folder_total
|
||||
if passes >= max_passes:
|
||||
print(f" [WARN] {folder}: достигнут потолок проходов "
|
||||
f"({max_passes}), возможен остаток", file=sys.stderr)
|
||||
else:
|
||||
count = archive_folder(folder, limit=args.limit)
|
||||
total += count
|
||||
except Exception as e:
|
||||
|
||||
Reference in New Issue
Block a user