feat(AI): 统一多模态模型架构,整合文本和视觉推理路径 - 将文本生成和VL(图→文)功能合并到单一的Qwen3.5-4B多模态MNN模型 - 移除独立的Qwen3-VL-4B模型依赖,MLX VL改为使用.llm的多模态模型 - 更新ModelKind枚举,新增userFacing集合用于面向用户展示 - MNN后端现在同时支持文本和视觉任务,模拟器回退到MLX refactor(models): 模型管理和界面调整以适应新的多模态架构 - 更新模型管理界面,只显示统一的Qwen3.5-4B(MNN)模型给用户 - 修改就绪状态检查逻辑,使用ModelKind.userFacing替代allCases - 更新模型文件清单,从Qwen3.5-2B升级到Qwen3.5-4B-4bit - 调整模型管理页面UI,突出MNN+SME2端侧加速功能 feat(camera): 添加拍照识别引擎切换功能 - 实现双路径拍照识别:Apple Vision OCR + 文本模型 和 Qwen3-VL直接识别 - 添加预处理逻辑,优化Qwen3-VL对窄长区域图片的识别效果 - 在模型管理页面添加拍照识别引擎选择组件 - 提供用户界面选项,在两种识别方式间切换 style(ui): 优化输入框样式和颜色主题一致性 - 为指标快速表单添加浅色主题偏好 - 统一所有文本输入框的颜色样式(theme) - 创建EntryInputField组件,替换原有的单行输入+按钮模式 - 实现聊天框风格的条目输入,支持多行自适应和圆形发送按钮 fix(build): 修正Xcode项目配置中的重复框架搜索路径 - 清理project.pbxproj中重复的FRAMEWORK_SEARCH_PATHS配置 - 重新排列Swift桥接头文件配置确保正确引用 - 修复因路径配置重复导致的编译警告问题 test: 增加区域图片预处理和模型清单测试覆盖 - 添加RegionImageCropper.prepareForQwenVL的单元测试 - 验证宽而矮图片的放大和填充逻辑 - 更新ModelManifestTests中的字节数预期值以匹配新模型 - 修正OCRService中VNRecognizedTextObservation类型的处理 ```
151 lines
6.2 KiB
Swift
151 lines
6.2 KiB
Swift
import Foundation
|
|
|
|
nonisolated enum ModelKind: String, CaseIterable {
|
|
/// 也是沙盒 Models/ 下的子目录名 / CDN 路径段。
|
|
/// 同一个 Qwen3.5-4B,两种格式两种引擎:
|
|
/// - mnnLLM:MNN(CPU/SME2,考核路径)文本+视觉一肩挑,taobao-mnn 预转换。真机主用,只露它。
|
|
/// - llm:MLX(GPU)兜底,Qwen3.5-4B-4bit 多模态(同时兜底文本与视觉,走 qwen3_5)。
|
|
/// - vl:已废弃(MLX VL 改走 .llm 多模态),保留枚举避免动一圈穷举 switch,不再下载/展示。
|
|
case llm = "Qwen3.5-4B-4bit"
|
|
case vl = "Qwen3-VL-4B-Instruct-4bit"
|
|
case mnnLLM = "Qwen3.5-4B-MNN"
|
|
|
|
var displayName: String {
|
|
switch self {
|
|
case .llm: return "Qwen3.5-4B (MLX)"
|
|
case .vl: return "Qwen3-VL-4B"
|
|
case .mnnLLM: return "Qwen3.5-4B (MNN/SME2)"
|
|
}
|
|
}
|
|
|
|
/// HuggingFace 仓库 ID(org/name),用于下载
|
|
var huggingFaceRepo: String { "mlx-community/\(rawValue)" }
|
|
|
|
/// 用于判定该模型是否已就绪的最小标志文件
|
|
var sentinelFilename: String { "config.json" }
|
|
|
|
/// 面向用户的模型集合:模型管理页 / 下载全部 / 就绪计数对外只暴露统一的
|
|
/// Qwen3.5-4B(MNN,文本+视觉全包,真机走它)。
|
|
/// MLX 的 .llm/.vl 仅作模拟器与兜底路径,保留枚举与下载能力(旁路导入仍可单独导),
|
|
/// 但不在「我的 · 模型管理」展示,也不计入「下载全部」与就绪计数。
|
|
static let userFacing: [ModelKind] = [.mnnLLM]
|
|
}
|
|
|
|
/// `@unchecked Sendable`:rootURL 是 let,方法只读 filesystem(线程安全),
|
|
/// 可被任意 actor / Task 跨边界访问。
|
|
/// 实例方法显式 `nonisolated`:项目开了 `SWIFT_DEFAULT_ACTOR_ISOLATION = MainActor`,
|
|
/// 默认会把方法推到 MainActor,导致从 `AIRuntime` 等 actor 调用报错。
|
|
final class ModelStore: @unchecked Sendable {
|
|
nonisolated static let shared: ModelStore = {
|
|
do {
|
|
let appSupport = try FileManager.default.url(
|
|
for: .applicationSupportDirectory,
|
|
in: .userDomainMask,
|
|
appropriateFor: nil,
|
|
create: true
|
|
)
|
|
let root = appSupport.appendingPathComponent("Models", isDirectory: true)
|
|
return try ModelStore(rootURL: root)
|
|
} catch {
|
|
fatalError("ModelStore.shared init failed: \(error)")
|
|
}
|
|
}()
|
|
|
|
let rootURL: URL
|
|
|
|
init(rootURL: URL) throws {
|
|
self.rootURL = rootURL
|
|
try FileManager.default.createDirectory(at: rootURL, withIntermediateDirectories: true)
|
|
}
|
|
|
|
nonisolated func localURL(for kind: ModelKind) -> URL {
|
|
rootURL.appendingPathComponent(kind.rawValue, isDirectory: true)
|
|
}
|
|
|
|
nonisolated func isReady(_ kind: ModelKind) -> Bool {
|
|
let sentinel = localURL(for: kind).appendingPathComponent(kind.sentinelFilename)
|
|
return FileManager.default.fileExists(atPath: sentinel.path)
|
|
}
|
|
|
|
nonisolated func totalBytes(for kind: ModelKind) -> Int {
|
|
let folder = localURL(for: kind)
|
|
guard let enumerator = FileManager.default.enumerator(
|
|
at: folder,
|
|
includingPropertiesForKeys: [.fileSizeKey]
|
|
) else { return 0 }
|
|
var sum = 0
|
|
for case let url as URL in enumerator {
|
|
if let size = try? url.resourceValues(forKeys: [.fileSizeKey]).fileSize {
|
|
sum += size
|
|
}
|
|
}
|
|
return sum
|
|
}
|
|
|
|
/// Demo 现场旁路:从 Bundle 拷贝预装模型(W6 才真正使用,本周占位)
|
|
nonisolated func seedFromBundle(_ kind: ModelKind) throws {
|
|
guard let bundleURL = Bundle.main.url(forResource: kind.rawValue, withExtension: nil) else {
|
|
#if DEBUG
|
|
assertionFailure("Bundle 缺少 \(kind.rawValue),检查资源是否加入 target")
|
|
#endif
|
|
return
|
|
}
|
|
let target = localURL(for: kind)
|
|
if FileManager.default.fileExists(atPath: target.path) {
|
|
try FileManager.default.removeItem(at: target)
|
|
}
|
|
try FileManager.default.copyItem(at: bundleURL, to: target)
|
|
}
|
|
|
|
// MARK: - 下载 / 导入支撑
|
|
|
|
/// 模型目录下某个相对路径文件的本地 URL。
|
|
nonisolated func fileURL(for kind: ModelKind, relativePath: String) -> URL {
|
|
localURL(for: kind).appendingPathComponent(relativePath)
|
|
}
|
|
|
|
/// 本地该文件当前字节数,不存在返回 0(用于断点续传偏移与跳过判断)。
|
|
nonisolated func localBytes(for kind: ModelKind, relativePath: String) -> Int {
|
|
let url = fileURL(for: kind, relativePath: relativePath)
|
|
guard let size = try? url.resourceValues(forKeys: [.fileSizeKey]).fileSize else { return 0 }
|
|
return size
|
|
}
|
|
|
|
/// 按清单校验模型是否完整:每个文件都存在且大小等于预期。
|
|
/// `files` 默认取 `ModelManifest`;测试可注入小清单。
|
|
nonisolated func isComplete(for kind: ModelKind, files: [ModelFile]? = nil) -> Bool {
|
|
let manifest = files ?? ModelManifest.files(for: kind)
|
|
guard !manifest.isEmpty else { return false }
|
|
for file in manifest where localBytes(for: kind, relativePath: file.path) != file.bytes {
|
|
return false
|
|
}
|
|
return true
|
|
}
|
|
|
|
/// 旁路导入:把一个含 config.json 的模型文件夹整体拷入沙盒(现场重装兜底)。
|
|
nonisolated func importModel(_ kind: ModelKind, from sourceFolder: URL) throws {
|
|
let configPath = sourceFolder.appendingPathComponent(kind.sentinelFilename).path
|
|
guard FileManager.default.fileExists(atPath: configPath) else {
|
|
throw ModelStoreError.missingConfig
|
|
}
|
|
let target = localURL(for: kind)
|
|
if FileManager.default.fileExists(atPath: target.path) {
|
|
try FileManager.default.removeItem(at: target)
|
|
}
|
|
try FileManager.default.createDirectory(
|
|
at: target.deletingLastPathComponent(), withIntermediateDirectories: true)
|
|
try FileManager.default.copyItem(at: sourceFolder, to: target)
|
|
}
|
|
}
|
|
|
|
enum ModelStoreError: Error, LocalizedError {
|
|
case missingConfig
|
|
|
|
var errorDescription: String? {
|
|
switch self {
|
|
case .missingConfig:
|
|
return String(appLoc: "所选文件夹缺少 config.json,不是有效的模型目录")
|
|
}
|
|
}
|
|
}
|