105 lines
6.2 KiB
Swift
105 lines
6.2 KiB
Swift
import Foundation
|
|
|
|
/// 模型文件清单中的一项:相对模型目录的路径 + 预期字节数(用于总进度计算与下载后大小校验)。
|
|
struct ModelFile: Equatable, Sendable {
|
|
let path: String
|
|
let bytes: Int
|
|
}
|
|
|
|
/// 硬编码的模型文件清单与下载源。
|
|
/// 只列加载必需的功能文件,排除 README.md / .gitattributes(省下载)。
|
|
/// 字节数与服务器素材逐一核对一致,见
|
|
/// docs/superpowers/specs/2026-05-29-model-download-design.md 附录 A。
|
|
nonisolated enum ModelManifest {
|
|
/// 自建 Caddy 静态镜像。现仅 `.vl`(已废弃,不再下载)回退用;主模型 / MLX 兜底已切魔搭官方。
|
|
/// 备选纯 IP(需 App 端 ATS 例外): http://101.132.124.52:5244/
|
|
static let baseURL = URL(string: "https://file.myv0.com/")!
|
|
|
|
/// 各模型的魔搭(ModelScope)官方仓库 id。大陆可达;`resolve/master` 会 302 跳阿里 OSS,
|
|
/// OSS 支持 Range,断点续传穿透重定向(实测 206 + 精确分片)。各文件大小与本清单逐一核对一致(2026-06 实测)。
|
|
/// 注意组织名:MNN 模型在魔搭组织为 `MNN`(非 HuggingFace 的 taobao-mnn);MLX 沿用 mlx-community。
|
|
static func modelScopeRepo(for kind: ModelKind) -> String? {
|
|
switch kind {
|
|
case .llm: return "mlx-community/gemma-3n-E2B-it-lm-4bit" // 主模型,大陆可达
|
|
case .mnnLLM: return "MNN/Qwen3.5-2B-MNN" // 已停用,保留源备查
|
|
case .vl: return nil // 已废弃,不再下载 / 分发,不提供魔搭源
|
|
}
|
|
}
|
|
|
|
static func files(for kind: ModelKind) -> [ModelFile] {
|
|
switch kind {
|
|
case .llm:
|
|
// Gemma-3n-E2B-it-lm-4bit:Gemma-3n 的「语言模型抽取版」(text-only),走 LLMModelFactory
|
|
// 的 gemma3n 文本路径加载(mlx-swift-lm 已注册 "gemma3n")。MLX 仅支持其文本能力,无视觉。
|
|
// 字节数取自 ModelScope mlx-community/gemma-3n-E2B-it-lm-4bit 仓库实际 blob 大小
|
|
//(repo/files API,2026-06 核对)。排除 README.md / .gitattributes / configuration.json
|
|
//(后者为 ModelScope 元数据,MLX 加载用不到)。model.safetensors 为单文件,
|
|
// MLX loadWeights 直接 glob 全部 *.safetensors,index.json 仅留作完整性占位,不影响加载。
|
|
// tokenizer.model(SentencePiece)与 chat_template.jinja 一并镜像,确保聊天模板/分词稳定。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 107_207),
|
|
ModelFile(path: "generation_config.json", bytes: 215),
|
|
ModelFile(path: "model.safetensors", bytes: 2_507_515_399),
|
|
ModelFile(path: "model.safetensors.index.json", bytes: 129_688),
|
|
ModelFile(path: "special_tokens_map.json", bytes: 769),
|
|
ModelFile(path: "tokenizer.json", bytes: 33_442_553),
|
|
ModelFile(path: "tokenizer.model", bytes: 4_696_020),
|
|
ModelFile(path: "tokenizer_config.json", bytes: 1_202_305),
|
|
ModelFile(path: "chat_template.jinja", bytes: 1_626),
|
|
]
|
|
case .vl:
|
|
// Qwen3-VL-4B-Instruct-4bit:字节数取自 mlx-community 仓库实际 blob 大小
|
|
// (HF API blobs=true,2026-05 核对),用于总进度计算与下载后大小校验。
|
|
// 策略:完整镜像仓库的全部运行文件(仅排除 README.md / .gitattributes),
|
|
// 与标准 mlx-vlm 加载环境保持一致,避免漏文件导致 VLMModelFactory 加载失败。
|
|
// 同时带两份 chat_template(.json 旧约定 + .jinja 新约定)与 video 预处理配置,
|
|
// 以兼容不同版本 swift-transformers / Qwen3VLProcessor 的读取路径。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 7_137),
|
|
ModelFile(path: "model.safetensors", bytes: 3_093_767_283),
|
|
ModelFile(path: "model.safetensors.index.json", bytes: 64_742),
|
|
ModelFile(path: "tokenizer.json", bytes: 11_422_654),
|
|
ModelFile(path: "tokenizer_config.json", bytes: 5_445),
|
|
ModelFile(path: "vocab.json", bytes: 2_776_833),
|
|
ModelFile(path: "merges.txt", bytes: 1_671_853),
|
|
ModelFile(path: "special_tokens_map.json", bytes: 613),
|
|
ModelFile(path: "added_tokens.json", bytes: 707),
|
|
ModelFile(path: "generation_config.json", bytes: 269),
|
|
ModelFile(path: "chat_template.json", bytes: 5_502),
|
|
ModelFile(path: "chat_template.jinja", bytes: 5_292),
|
|
ModelFile(path: "preprocessor_config.json", bytes: 782),
|
|
ModelFile(path: "video_preprocessor_config.json", bytes: 817),
|
|
]
|
|
case .mnnLLM:
|
|
// taobao-mnn/Qwen3.5-2B-MNN 预转换 MNN 格式(HF API 实测,2026-06)。
|
|
// 运行时必需:config.json(MNN llm 配置)+ llm_config.json(超参)+ llm.mnn(图)
|
|
// + llm.mnn.weight(量化权重 ~1.1GB)+ tokenizer.txt + visual.mnn(多模态,文本路径不用但配置含 mllm)。
|
|
// 排除 README/.gitattributes 与可读 dump(llm.mnn.json / export_args.json)。
|
|
return [
|
|
ModelFile(path: "config.json", bytes: 652),
|
|
ModelFile(path: "llm_config.json", bytes: 8_692),
|
|
ModelFile(path: "llm.mnn", bytes: 2_148_136),
|
|
ModelFile(path: "llm.mnn.weight", bytes: 1_176_647_702),
|
|
ModelFile(path: "tokenizer.txt", bytes: 6_465_727),
|
|
ModelFile(path: "visual.mnn", bytes: 488_096),
|
|
]
|
|
}
|
|
}
|
|
|
|
static func totalBytes(for kind: ModelKind) -> Int {
|
|
files(for: kind).reduce(0) { $0 + $1.bytes }
|
|
}
|
|
|
|
/// 单个文件的下载 URL。主模型 MNN / MLX 兜底走魔搭官方 `resolve/master`;
|
|
/// 已废弃的 `.vl` 回退自建镜像(实际不会被下载)。
|
|
static func fileURL(for kind: ModelKind, file: ModelFile) -> URL {
|
|
if let repo = modelScopeRepo(for: kind) {
|
|
return URL(string: "https://modelscope.cn/models/\(repo)/resolve/master/")!
|
|
.appendingPathComponent(file.path)
|
|
}
|
|
return baseURL
|
|
.appendingPathComponent(kind.rawValue, isDirectory: true)
|
|
.appendingPathComponent(file.path)
|
|
}
|
|
}
|