9d856fcfc4
feat(AI): 集成MNN推理引擎替换MLX作为主AI运行时 - 引入MNN(alibaba) + Arm SME2 + CPU作为主AI运行时，支持A19/iPhone17的 SME2和A17的NEON加速 - 添加MLX Swift作为兜底GPU推理方案，实现双后端切换机制 - 使用单一Qwen3.5-2B多模态模型(1.2GB)，替代原有的LLM+VL分离架构 - 实现InferenceEngine.current引擎选择逻辑，真机默认MNN，模拟器回退MLX - 更新AIAgent架构，通过MNNLLMBridge(ObjC++) → MNNBackend进行推理 - 修改队列机制防止并发推理导致OOM，使用信号量闸门控制显存占用 - 更新文档中的技术栈说明、模块边界和周次交付计划 ```
65 lines
3.4 KiB
Swift
65 lines
3.4 KiB
Swift
import Foundation
|
||
|
||
/// 「拍药盒入档」prompt:Vision OCR 出药盒/说明书/处方文字后,
|
||
/// 交 LLM(Qwen,MNN/SME2 主链路)结构化抽药品名 + 规格 + 用法。
|
||
/// 输出契约:严格 JSON;解析失败 → UI 回退手动录入(§3.2 失败回退红线)。
|
||
/// 注意:只做"识别入档",不做剂量推荐/用药提醒(§1 明确不做)。
|
||
nonisolated enum MedicationPrompts {
|
||
|
||
static func medicationsFromText(_ ocrText: String) -> String {
|
||
// ≤5 张合并 OCR,放宽到 2400(单张 1200 偏小,易把背面用法截掉)。
|
||
medicationsFromTextTemplate
|
||
.replacingOccurrences(of: "{{OCR_TEXT}}", with: VLPrompts.clipOCR(ocrText, limit: 2400))
|
||
}
|
||
|
||
private static let medicationsFromTextTemplate: String = #"""
|
||
你是药品包装识别助手。下面是对一种药品的多张照片(药盒正面/背面/说明书/处方单)做 OCR 得到的纯文本,各张之间用「---」分隔,可能有错字、换行混乱或无关噪声。
|
||
请从中提取药品信息,只输出一段合法 JSON,不要解释、不要 markdown 围栏、不要任何前后缀文字。
|
||
|
||
JSON schema(严格):
|
||
{
|
||
"medications": [
|
||
{
|
||
"name": string, // 药品名,见下方「name 怎么填」
|
||
"strength": string, // 规格,如 "80mg"、"0.5g×24片";识别不出填 ""
|
||
"usage": string // 用法用量,如 "每日一次,一次一粒";包装上没有就填 ""
|
||
}
|
||
]
|
||
}
|
||
|
||
name 怎么填(关键,别搞混):
|
||
- 药品名 = 通用名(化学/药典名),这是要填进 name 的主体。中文药名照中文写,英文药名(如 "Metformin"、"Amoxicillin")就照英文原样抄,不要翻译、不要丢。
|
||
- 若包装上同时印有商品名/商标名(厂商起的牌子名,如 "代文""泰诺""Tylenol"),把它放在通用名后的括号里,例如 "缬沙坦胶囊(代文)"。只读到商品名、读不到通用名时,就直接用商品名当 name。
|
||
- 生产厂家/公司名/品牌 LOGO 文字(如 "XX药业有限公司""诺华""拜耳")不是药名,一律不要当 name,也不要塞进括号。
|
||
|
||
通用规则:
|
||
- 只提取药品本身;"国药准字"批准文号、生产厂家、批号、有效期、条形码、贮藏、二维码一律忽略。
|
||
- 多张照片通常是同一种药的不同面,合并成一条,不要因为来自不同照片就重复输出;处方单可能有多种药,才分多条。
|
||
- 不要发明药品。名称读不清的整条跳过;strength / usage 读不清就填 "",不要编造。
|
||
- 不要输出任何服药建议或剂量调整建议,只抄录包装上已有的文字。
|
||
- 同一药品只输出一次。
|
||
|
||
示例 1(药盒,含商品名 + 厂商):
|
||
输入 OCR 文本: 代文 缬沙坦胶囊 80mg×7粒 国药准字H20103521 北京诺华制药有限公司
|
||
输出:
|
||
{"medications":[{"name":"缬沙坦胶囊(代文)","strength":"80mg×7粒","usage":""}]}
|
||
|
||
示例 2(说明书含用法):
|
||
输入 OCR 文本: 二甲双胍缓释片 0.5g×30片 用法用量:口服,一次1片,一日2次,随餐服用
|
||
输出:
|
||
{"medications":[{"name":"二甲双胍缓释片","strength":"0.5g×30片","usage":"口服,一次1片,一日2次,随餐服用"}]}
|
||
|
||
示例 3(英文药名,正反两张合并):
|
||
输入 OCR 文本: Amoxicillin Capsules 500mg GSK
|
||
---
|
||
Dosage: Take one capsule three times daily
|
||
输出:
|
||
{"medications":[{"name":"Amoxicillin","strength":"500mg","usage":"Take one capsule three times daily"}]}
|
||
|
||
现在请解析下面这段 OCR 文本,只输出 JSON。/no_think
|
||
|
||
OCR 文本:
|
||
{{OCR_TEXT}}
|
||
"""#
|
||
}
|