ddfd474bb3
利用 Qwen3.5-4B-MNN 本身是多模态(含 visual.mnn),让同一个 MNN 模型 同时做文本生成与拍照识别 → MNN 路径只需下 1 个模型(7.4GB→2.64GB)。 MLX(.llm/.vl)保留作兜底,尤其开发机 iPhone 15 Pro(A17 无 SME2)。 - MNN.xcframework 重建为 OMNI(MNN_BUILD_LLM_OMNI=ON,加 OpenCV 图像解码); 构建脚本同步加 OMNI flag - MNNLLMBridge.analyzeImages:把图片路径拼成 <img>路径</img> 标签 + response, Omni 内部 CV::imread 加载(无需桥接 include OpenCV);与 generateText 共用 runResponse - MNNBackend.analyze:detached 线程跑 blocking VL 调用,聚合为字符串 - AIRuntime:engine=.mnn 且就绪时,prepareVL→prepareMNN、analyzeReport→mnn.analyze; 否则回退 MLX VL device + 模拟器 BUILD SUCCEEDED,0 error,OMNI 框架链接干净。 VL 实际识别质量需真机用化验单 A/B(demo 核心)。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
52 lines
2.2 KiB
Bash
52 lines
2.2 KiB
Bash
#!/bin/sh
|
|
# 构建 MNN.xcframework(device arm64 + simulator arm64),含 LLM 引擎 + SME2。
|
|
# 产物输出到 康康/../Frameworks/MNN.xcframework(被 .gitignore,不入库,防历史膨胀)。
|
|
#
|
|
# 用法:
|
|
# MNN_SRC=/path/to/MNN sh scripts/build-mnn-xcframework.sh
|
|
# 需求:CMake 3.14+、Xcode、约 10-40 分钟。
|
|
#
|
|
# 关键 flag:
|
|
# MNN_BUILD_LLM=ON —— 编入 llm 引擎(并导出 llm/llm.hpp),自动开 MNN_LOW_MEMORY
|
|
# MNN_BUILD_LLM_OMNI=ON —— VL(图→文)所需:多模态 Omni + OpenCV 图像解码。
|
|
# 统一模型(Qwen3.5-4B-MNN 一肩挑文本+视觉)必须开。
|
|
# MNN_SME2=ON —— CMake 默认 ON,A19/iPhone17 运行时经 KleidiAI 自动启用,A17 回退 NEON
|
|
# MNN_METAL=OFF —— 考核走 CPU+SME2,关 Metal 保持精简
|
|
set -e
|
|
|
|
MNN_SRC="${MNN_SRC:-/Users/xuhuayong/apps/MNN-src}"
|
|
OUT_DIR="$(cd "$(dirname "$0")/.." && pwd)/Frameworks"
|
|
TOOLCHAIN_NEW="${MNN_SRC}/cmake/ios.toolchain.new.cmake"
|
|
EXTRA="-DMNN_BUILD_LLM=ON -DMNN_BUILD_LLM_OMNI=ON -DMNN_METAL=OFF -DMNN_ARM82=true -DMNN_SME2=ON"
|
|
COMMON="-DCMAKE_BUILD_TYPE=Release -DENABLE_BITCODE=0 -DMNN_AAPL_FMWK=1 -DMNN_SEP_BUILD=0 -DMNN_BUILD_SHARED_LIBS=false -DMNN_USE_THREAD_POOL=OFF"
|
|
|
|
export DEVELOPER_DIR="/Applications/Xcode.app/Contents/Developer"
|
|
cd "$MNN_SRC"
|
|
|
|
# 新版 ios-cmake toolchain(支持 SIMULATORARM64;MNN 自带的旧版只支持 x86_64 模拟器)
|
|
if [ ! -f "$TOOLCHAIN_NEW" ]; then
|
|
curl -sL "https://raw.githubusercontent.com/leetal/ios-cmake/master/ios.toolchain.cmake" -o "$TOOLCHAIN_NEW"
|
|
fi
|
|
|
|
# device arm64
|
|
rm -rf build-dev-arm64 && mkdir build-dev-arm64 && cd build-dev-arm64
|
|
cmake .. $COMMON $EXTRA -DCMAKE_TOOLCHAIN_FILE="$TOOLCHAIN_NEW" -DPLATFORM=OS64 -DDEPLOYMENT_TARGET=17.0
|
|
make MNN -j16
|
|
cd ..
|
|
|
|
# simulator arm64
|
|
rm -rf build-sim-arm64 && mkdir build-sim-arm64 && cd build-sim-arm64
|
|
cmake .. $COMMON $EXTRA -DCMAKE_TOOLCHAIN_FILE="$TOOLCHAIN_NEW" -DPLATFORM=SIMULATORARM64 -DDEPLOYMENT_TARGET=17.0
|
|
make MNN -j16
|
|
cd ..
|
|
|
|
# 合成 xcframework
|
|
rm -rf "$OUT_DIR/MNN.xcframework"
|
|
mkdir -p "$OUT_DIR"
|
|
xcrun xcodebuild -create-xcframework \
|
|
-framework build-dev-arm64/MNN.framework \
|
|
-framework build-sim-arm64/MNN.framework \
|
|
-output "$OUT_DIR/MNN.xcframework"
|
|
|
|
echo "✅ 输出: $OUT_DIR/MNN.xcframework"
|