836f3d4234
feat(AI): 统一多模态模型架构，整合文本和视觉推理路径 - 将文本生成和VL(图→文)功能合并到单一的Qwen3.5-4B多模态MNN模型 - 移除独立的Qwen3-VL-4B模型依赖，MLX VL改为使用.llm的多模态模型 - 更新ModelKind枚举，新增userFacing集合用于面向用户展示 - MNN后端现在同时支持文本和视觉任务，模拟器回退到MLX refactor(models): 模型管理和界面调整以适应新的多模态架构 - 更新模型管理界面，只显示统一的Qwen3.5-4B(MNN)模型给用户 - 修改就绪状态检查逻辑，使用ModelKind.userFacing替代allCases - 更新模型文件清单，从Qwen3.5-2B升级到Qwen3.5-4B-4bit - 调整模型管理页面UI，突出MNN+SME2端侧加速功能 feat(camera): 添加拍照识别引擎切换功能 - 实现双路径拍照识别：Apple Vision OCR + 文本模型 和 Qwen3-VL直接识别 - 添加预处理逻辑，优化Qwen3-VL对窄长区域图片的识别效果 - 在模型管理页面添加拍照识别引擎选择组件 - 提供用户界面选项，在两种识别方式间切换 style(ui): 优化输入框样式和颜色主题一致性 - 为指标快速表单添加浅色主题偏好 - 统一所有文本输入框的颜色样式(theme) - 创建EntryInputField组件，替换原有的单行输入+按钮模式 - 实现聊天框风格的条目输入，支持多行自适应和圆形发送按钮 fix(build): 修正Xcode项目配置中的重复框架搜索路径 - 清理project.pbxproj中重复的FRAMEWORK_SEARCH_PATHS配置 - 重新排列Swift桥接头文件配置确保正确引用 - 修复因路径配置重复导致的编译警告问题 test: 增加区域图片预处理和模型清单测试覆盖 - 添加RegionImageCropper.prepareForQwenVL的单元测试 - 验证宽而矮图片的放大和填充逻辑 - 更新ModelManifestTests中的字节数预期值以匹配新模型 - 修正OCRService中VNRecognizedTextObservation类型的处理 ```
88 lines
4.9 KiB
Swift
88 lines
4.9 KiB
Swift
import Foundation
|
|
|
|
/// 模型文件清单中的一项:相对模型目录的路径 + 预期字节数(用于总进度计算与下载后大小校验)。
|
|
struct ModelFile: Equatable, Sendable {
|
|
let path: String
|
|
let bytes: Int
|
|
}
|
|
|
|
/// 硬编码的模型文件清单与下载源。
|
|
/// 只列加载必需的功能文件,排除 README.md / .gitattributes(省下载)。
|
|
/// 字节数与服务器素材逐一核对一致,见
|
|
/// docs/superpowers/specs/2026-05-29-model-download-design.md 附录 A。
|
|
nonisolated enum ModelManifest {
|
|
/// 自建 Caddy 静态服务(用户自建 HTTPS 反代)。
|
|
/// 备选纯 IP(需 App 端 ATS 例外): http://101.132.124.52:5244/
|
|
static let baseURL = URL(string: "https://file.myv0.com/")!
|
|
|
|
static func files(for kind: ModelKind) -> [ModelFile] {
|
|
switch kind {
|
|
case .llm:
|
|
// Qwen3.5-4B-4bit:多模态仓库,MLX 兜底用它同时做文本(LLMModelFactory qwen3_5 文本路径)
|
|
// 与视觉(VLMModelFactory qwen3_5)。字节数取自 mlx-community/Qwen3.5-4B-4bit
|
|
// 仓库实际 blob 大小(HF API,2026-06 核对)。镜像全部运行文件(含视觉预处理配置),
|
|
// 排除 README.md / .gitattributes。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 3_366),
|
|
ModelFile(path: "model.safetensors", bytes: 3_034_300_695),
|
|
ModelFile(path: "model.safetensors.index.json", bytes: 101_944),
|
|
ModelFile(path: "tokenizer.json", bytes: 19_989_343),
|
|
ModelFile(path: "tokenizer_config.json", bytes: 1_139),
|
|
ModelFile(path: "vocab.json", bytes: 6_722_759),
|
|
ModelFile(path: "chat_template.jinja", bytes: 7_756),
|
|
ModelFile(path: "preprocessor_config.json", bytes: 390),
|
|
ModelFile(path: "processor_config.json", bytes: 1_300),
|
|
ModelFile(path: "video_preprocessor_config.json", bytes: 385),
|
|
]
|
|
case .vl:
|
|
// Qwen3-VL-4B-Instruct-4bit:字节数取自 mlx-community 仓库实际 blob 大小
|
|
// (HF API blobs=true,2026-05 核对),用于总进度计算与下载后大小校验。
|
|
// 策略:完整镜像仓库的全部运行文件(仅排除 README.md / .gitattributes),
|
|
// 与标准 mlx-vlm 加载环境保持一致,避免漏文件导致 VLMModelFactory 加载失败。
|
|
// 同时带两份 chat_template(.json 旧约定 + .jinja 新约定)与 video 预处理配置,
|
|
// 以兼容不同版本 swift-transformers / Qwen3VLProcessor 的读取路径。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 7_137),
|
|
ModelFile(path: "model.safetensors", bytes: 3_093_767_283),
|
|
ModelFile(path: "model.safetensors.index.json", bytes: 64_742),
|
|
ModelFile(path: "tokenizer.json", bytes: 11_422_654),
|
|
ModelFile(path: "tokenizer_config.json", bytes: 5_445),
|
|
ModelFile(path: "vocab.json", bytes: 2_776_833),
|
|
ModelFile(path: "merges.txt", bytes: 1_671_853),
|
|
ModelFile(path: "special_tokens_map.json", bytes: 613),
|
|
ModelFile(path: "added_tokens.json", bytes: 707),
|
|
ModelFile(path: "generation_config.json", bytes: 269),
|
|
ModelFile(path: "chat_template.json", bytes: 5_502),
|
|
ModelFile(path: "chat_template.jinja", bytes: 5_292),
|
|
ModelFile(path: "preprocessor_config.json", bytes: 782),
|
|
ModelFile(path: "video_preprocessor_config.json", bytes: 817),
|
|
]
|
|
case .mnnLLM:
|
|
// taobao-mnn/Qwen3.5-4B-MNN 预转换 MNN 格式(HF API 实测,2026-06)。
|
|
// 运行时必需:config.json(MNN llm 配置)+ llm_config.json(超参)+ llm.mnn(图)
|
|
// + llm.mnn.weight(量化权重 ~2.45GB)+ tokenizer.txt + visual.mnn/visual.mnn.weight(多模态,
|
|
// 文本路径不用但配置含 mllm,带上避免缺文件)。排除 README/.gitattributes 与可读 dump。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 652),
|
|
ModelFile(path: "llm_config.json", bytes: 8_693),
|
|
ModelFile(path: "llm.mnn", bytes: 3_651_096),
|
|
ModelFile(path: "llm.mnn.weight", bytes: 2_629_387_626),
|
|
ModelFile(path: "tokenizer.txt", bytes: 6_465_727),
|
|
ModelFile(path: "visual.mnn", bytes: 488_096),
|
|
ModelFile(path: "visual.mnn.weight", bytes: 196_768_960),
|
|
]
|
|
}
|
|
}
|
|
|
|
static func totalBytes(for kind: ModelKind) -> Int {
|
|
files(for: kind).reduce(0) { $0 + $1.bytes }
|
|
}
|
|
|
|
/// 单个文件的下载 URL = baseURL / <仓库名> / <相对路径>。
|
|
static func fileURL(for kind: ModelKind, file: ModelFile) -> URL {
|
|
baseURL
|
|
.appendingPathComponent(kind.rawValue, isDirectory: true)
|
|
.appendingPathComponent(file.path)
|
|
}
|
|
}
|