adb589af16
将「异常项快拍」从复用整页报告归档流程,改造成独立的局部识别路径: 小框拍局部 → Qwen-VL 只抽 indicators → 用户确认逐项编辑 → 存成独立 Indicator(不建 Report、不留原图,与「记录指标」统一落库)。 - RegionCameraView: AVFoundation 实时预览 + 居中小框,快门后按 metadataOutputRectConverted 裁剪到框内区域;含裁剪纯函数与权限态。 - VLPrompts.regionExtraction(): 局部识别 prompt,严格 JSON 只要 indicators。 - CaptureService.recognizeRegion(): 临时文件推理后即删,不写 Vault; 新增 parseIndicatorsJSON / extractBalancedJSON 解析容错。 - QuickRegionConfirmView: 异常项高亮置顶、默认勾选,可编辑/增删/选纳入。 - QuickRegionCaptureFlow: 状态机 idle→analyzing→confirm,30s 超时回退手动。 - RootView: .quick 路由改指向新流程(.archive 仍走 UnifiedCaptureFlow)。 - 删除 5 个无引用的旧 mockup(A1/A2/A3/SmartFramer/QuickCaptureFlow)。 模拟器无相机退化为相册整图;小框裁剪坐标需真机验证。 设计见 docs/superpowers/specs/2026-05-31-abnormal-quick-capture-design.md Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
136 lines
5.9 KiB
Swift
136 lines
5.9 KiB
Swift
import Foundation
|
|
|
|
/// VL 模型(Qwen3-VL)用于体检 / 化验单识别的 prompt 模板。
|
|
/// 输出契约:严格 JSON,无任何解释文字、markdown 围栏或前后缀。
|
|
/// 解析失败 → CaptureService 回退到手动录入(§3.2 失败回退红线)。
|
|
enum VLPrompts {
|
|
|
|
/// 输出 JSON 的字段定义(写进 prompt 里教模型):
|
|
/// ```
|
|
/// {
|
|
/// "title": "春季年度体检", // 报告抬头,无则 "拍摄识别"
|
|
/// "type": "checkup|lab|imaging|prescription|other",
|
|
/// "report_date": "YYYY-MM-DD", // 报告日期(无则今天)
|
|
/// "institution": "XX 医院", // 可空字符串
|
|
/// "page_count": 1,
|
|
/// "summary": "整体趋势短句", // 可空字符串
|
|
/// "indicators": [
|
|
/// {
|
|
/// "name": "低密度脂蛋白",
|
|
/// "value": "3.84",
|
|
/// "unit": "mmol/L",
|
|
/// "range": "< 3.40",
|
|
/// "status": "high|low|normal"
|
|
/// }
|
|
/// ]
|
|
/// }
|
|
/// ```
|
|
/// `kind` 字段省略 —— UI 由 indicators 数量决定走 A2(单项)或 B3(多项)。
|
|
|
|
/// VL 模型不知"今天"是哪天,且 few-shot 示例里写死了日期,
|
|
/// 必须把当天日期显式注入 prompt,模型在无报告日期时才会用对正确的回退值。
|
|
static func reportExtraction(today: Date = .now) -> String {
|
|
let f = DateFormatter()
|
|
f.locale = Locale(identifier: "en_US_POSIX")
|
|
f.dateFormat = "yyyy-MM-dd"
|
|
let todayStr = f.string(from: today)
|
|
return reportExtractionTemplate.replacingOccurrences(of: "{{TODAY}}", with: todayStr)
|
|
}
|
|
|
|
private static let reportExtractionTemplate: String = #"""
|
|
你是一个医学体检报告识别助手。请只输出一段合法 JSON,不要解释、不要 markdown 围栏、不要任何前后缀文字。
|
|
|
|
今天的日期是 {{TODAY}}。
|
|
|
|
JSON schema(严格):
|
|
{
|
|
"title": string,
|
|
"type": "checkup" | "lab" | "imaging" | "prescription" | "other",
|
|
"report_date": "YYYY-MM-DD",
|
|
"institution": string,
|
|
"page_count": number,
|
|
"summary": string,
|
|
"indicators": [
|
|
{
|
|
"name": string,
|
|
"value": string,
|
|
"unit": string,
|
|
"range": string,
|
|
"status": "high" | "low" | "normal"
|
|
}
|
|
]
|
|
}
|
|
|
|
规则:
|
|
- status 根据 value 与 range 自己判断:value > range 上限 → "high",< 下限 → "low",否则 → "normal"。
|
|
- range 字段保留原文(如 "< 3.40"、"3.9 - 6.1"、"0 - 5"),不要解析成区间对象。
|
|
- 无法识别的字段填空字符串(institution / summary)。
|
|
- report_date 必须从图片中识别;实在看不清就填上面给出的「今天」({{TODAY}})。下面示例里的日期只是格式参考,不要直接抄。
|
|
- 不要发明指标。看不清的整行跳过。
|
|
- 化验单一般 type = "lab",体检套餐 = "checkup"。
|
|
|
|
示例 1(化验单 · 单项):
|
|
输入: 一张化验单照片,只能看清「低密度脂蛋白 3.84 mmol/L 参考 <3.40」
|
|
输出:
|
|
{"title":"低密度脂蛋白单项","type":"lab","report_date":"2026-05-25","institution":"","page_count":1,"summary":"","indicators":[{"name":"低密度脂蛋白","value":"3.84","unit":"mmol/L","range":"< 3.40","status":"high"}]}
|
|
|
|
示例 2(体检 · 多项):
|
|
输入: 一份春季体检,3 项可读
|
|
输出:
|
|
{"title":"春季年度体检","type":"checkup","report_date":"2026-04-12","institution":"协和医院","page_count":1,"summary":"血脂偏高、其他正常","indicators":[{"name":"低密度脂蛋白","value":"3.84","unit":"mmol/L","range":"< 3.40","status":"high"},{"name":"谷丙转氨酶","value":"32","unit":"U/L","range":"9 - 50","status":"normal"},{"name":"空腹血糖","value":"5.2","unit":"mmol/L","range":"3.9 - 6.1","status":"normal"}]}
|
|
|
|
现在请识别图片并输出 JSON:
|
|
"""#
|
|
|
|
// MARK: - 局部小框识别(异常项快拍)
|
|
|
|
/// 异常项快拍专用:输入是报告/化验单的**局部照片**(常常只有一两行指标)。
|
|
/// 只要 indicators 数组,不要报告标题/机构/日期等元信息 —— 这条路径只存数值,不建 Report。
|
|
static func regionExtraction(today: Date = .now) -> String {
|
|
let f = DateFormatter()
|
|
f.locale = Locale(identifier: "en_US_POSIX")
|
|
f.dateFormat = "yyyy-MM-dd"
|
|
let todayStr = f.string(from: today)
|
|
return regionExtractionTemplate.replacingOccurrences(of: "{{TODAY}}", with: todayStr)
|
|
}
|
|
|
|
private static let regionExtractionTemplate: String = #"""
|
|
你是一个医学化验单识别助手。下面给你的是一张化验单/体检报告的**局部照片**,通常只框住了一两行指标。
|
|
请只输出一段合法 JSON,不要解释、不要 markdown 围栏、不要任何前后缀文字。
|
|
|
|
今天的日期是 {{TODAY}}。
|
|
|
|
JSON schema(严格):
|
|
{
|
|
"indicators": [
|
|
{
|
|
"name": string,
|
|
"value": string,
|
|
"unit": string,
|
|
"range": string,
|
|
"status": "high" | "low" | "normal"
|
|
}
|
|
]
|
|
}
|
|
|
|
规则:
|
|
- 只识别框内清楚可读的指标行,通常 1-3 行;看不清的整行跳过,绝不发明指标。
|
|
- status 根据 value 与 range 自己判断:value > range 上限 → "high",< 下限 → "low",否则 → "normal"。
|
|
- range 字段保留原文(如 "< 3.40"、"3.9 - 6.1"、"0 - 5"),不要解析成区间对象。
|
|
- 识别不出单位/范围就填空字符串,不要编造。
|
|
- 不要输出 title / institution / date / summary 等任何报告级字段,只输出 indicators 数组。
|
|
|
|
示例 1(单行):
|
|
输入: 局部照片,清楚可读「低密度脂蛋白 3.84 mmol/L 参考 <3.40 ↑」
|
|
输出:
|
|
{"indicators":[{"name":"低密度脂蛋白","value":"3.84","unit":"mmol/L","range":"< 3.40","status":"high"}]}
|
|
|
|
示例 2(两行):
|
|
输入: 局部照片,清楚可读「尿酸 486 μmol/L 208-428」与「空腹血糖 5.2 mmol/L 3.9-6.1」
|
|
输出:
|
|
{"indicators":[{"name":"尿酸","value":"486","unit":"μmol/L","range":"208 - 428","status":"high"},{"name":"空腹血糖","value":"5.2","unit":"mmol/L","range":"3.9 - 6.1","status":"normal"}]}
|
|
|
|
现在请识别这张局部照片并输出 JSON:
|
|
"""#
|
|
}
|