Files
kangkang/康康/Services/OCRService.swift
link2026 836f3d4234 ```
feat(AI): 统一多模态模型架构,整合文本和视觉推理路径

- 将文本生成和VL(图→文)功能合并到单一的Qwen3.5-4B多模态MNN模型
- 移除独立的Qwen3-VL-4B模型依赖,MLX VL改为使用.llm的多模态模型
- 更新ModelKind枚举,新增userFacing集合用于面向用户展示
- MNN后端现在同时支持文本和视觉任务,模拟器回退到MLX

refactor(models): 模型管理和界面调整以适应新的多模态架构

- 更新模型管理界面,只显示统一的Qwen3.5-4B(MNN)模型给用户
- 修改就绪状态检查逻辑,使用ModelKind.userFacing替代allCases
- 更新模型文件清单,从Qwen3.5-2B升级到Qwen3.5-4B-4bit
- 调整模型管理页面UI,突出MNN+SME2端侧加速功能

feat(camera): 添加拍照识别引擎切换功能

- 实现双路径拍照识别:Apple Vision OCR + 文本模型 和 Qwen3-VL直接识别
- 添加预处理逻辑,优化Qwen3-VL对窄长区域图片的识别效果
- 在模型管理页面添加拍照识别引擎选择组件
- 提供用户界面选项,在两种识别方式间切换

style(ui): 优化输入框样式和颜色主题一致性

- 为指标快速表单添加浅色主题偏好
- 统一所有文本输入框的颜色样式(theme)
- 创建EntryInputField组件,替换原有的单行输入+按钮模式
- 实现聊天框风格的条目输入,支持多行自适应和圆形发送按钮

fix(build): 修正Xcode项目配置中的重复框架搜索路径

- 清理project.pbxproj中重复的FRAMEWORK_SEARCH_PATHS配置
- 重新排列Swift桥接头文件配置确保正确引用
- 修复因路径配置重复导致的编译警告问题

test: 增加区域图片预处理和模型清单测试覆盖

- 添加RegionImageCropper.prepareForQwenVL的单元测试
- 验证宽而矮图片的放大和填充逻辑
- 更新ModelManifestTests中的字节数预期值以匹配新模型
- 修正OCRService中VNRecognizedTextObservation类型的处理
```
2026-06-08 23:25:31 +08:00

70 lines
3.1 KiB
Swift

import Foundation
import Vision
import UIKit
enum OCRError: Error {
case noImage
}
/// (Apple Vision,100% ,)
/// · :VL , OCR , LLM
enum OCRService {
/// ,()
/// ;,便 LLM
static func recognizeText(in cgImage: CGImage) async throws -> String {
try await withCheckedThrowingContinuation { (cont: CheckedContinuation<String, Error>) in
DispatchQueue.global(qos: .userInitiated).async {
let request = VNRecognizeTextRequest()
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true
// (/)+ ;
request.recognitionLanguages = ["zh-Hans", "zh-Hant", "en-US"]
let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up, options: [:])
do {
try handler.perform([request])
let obs = request.results ?? []
cont.resume(returning: assemble(obs))
} catch {
cont.resume(throwing: error)
}
}
}
}
/// UIImage 便
static func recognizeText(in image: UIImage) async throws -> String {
guard let cg = image.cgImage else { throw OCRError.noImage }
return try await recognizeText(in: cg)
}
/// observation
/// Vision y ; midY ( y ), minX
private static func assemble(_ obs: [VNRecognizedTextObservation]) -> String {
let items: [(rect: CGRect, text: String)] = obs.compactMap { o in
guard let t = o.topCandidates(1).first?.string, !t.isEmpty else { return nil }
return (o.boundingBox, t)
}
guard !items.isEmpty else { return "" }
let sorted = items.sorted { $0.rect.midY > $1.rect.midY }
let yTol: CGFloat = 0.012 // (); cell midY <
var rows: [[(rect: CGRect, text: String)]] = []
var rowY: [CGFloat] = [] // midY ,()
for item in sorted {
if let i = rows.indices.last, abs(rowY[i] - item.rect.midY) < yTol {
rows[i].append(item)
rowY[i] = (rowY[i] * CGFloat(rows[i].count - 1) + item.rect.midY) / CGFloat(rows[i].count)
} else {
rows.append([item])
rowY.append(item.rect.midY)
}
}
return rows.map { row in
row.sorted { $0.rect.minX < $1.rect.minX }
.map(\.text)
.joined(separator: " ")
}.joined(separator: "\n")
}
}