Swiftlet：如何用iPhone本地跑80B大模型，零成本搭建AI副业流水线

副业刚需：大模型成本太高，服务器月供堪比房贷

搞AI副业最怕什么？不是没点子，是烧钱。调用API按token收费，写篇长文成本能到几毛，一个月流水没起来，账单先起飞。自己搭服务器跑开源模型？显卡价格劝退，电费也不是闹着玩的。

但有没有想过，手里那台iPhone可能就是答案？A系列芯片的算力早就被低估了。现在有个开源项目叫 Swiftlet，直接把80B参数的大模型塞进iPhone，还不用占满内存。这意味着什么？零成本、随时随地、本地跑大模型，副业工具直接揣兜里。

Swiftlet 是一个用Swift和Metal写成的运行时，专门在苹果设备上跑千问（Qwen）系列的混合专家（MoE）模型。它最骚的操作是“流式加载专家权重”——模型不用全塞内存，而是按需从存储读取，所以35B甚至80B的模型都能在iPhone上跑起来，内存占用低到离谱。

项目目前有447颗星，不算爆火但思路硬核。据项目介绍，它支持千问2.5的MoE模型，比如Qwen2.5-35B-MoE和Qwen2.5-80B-MoE，直接在iPhone、iPad、Mac上推理。关键是本地跑，数据不出设备，隐私拉满。

别一听“本地跑模型”就想到技术折腾，这玩意儿落到副业上，能整的活真不少：

自媒体博主、小红书文案、短视频脚本，这些活80B大模型干起来绰绰有余。用Swiftlet在iPhone上跑个Qwen模型，写稿、润色、生成标题一气呵成。连网都不用，咖啡厅、地铁上随时开干，效率直接起飞。

接点跨境电商的翻译单子？把产品描述丢进去，本地模型秒出多语言版本。80B参数的理解力比小模型强太多，长文本翻译不翻车，还不用心疼API费用。

小微商家的客服需求其实很标准：回复常见问题、引导下单。用Swiftlet跑个模型，把FAQ和产品文档喂进去，就能搭个离线客服工具。整套方案放iPhone上，出差也不耽误接单。

搞AI训练数据标注的副业，经常要处理文本分类、实体提取。本地跑模型预处理，再人工复核，速度能快几倍。Swiftlet支持流式输出，长文本摘要、关键词提取都很顺手。

虽然项目立意很牛，但别以为开箱即用。目前Swiftlet还比较原始，需要一点动手能力：

设备要求：得有台iPhone（最好A14芯片以上），或者M系列芯片的Mac/iPad。存储空间要够，80B模型文件不小，据项目介绍，模型是按需加载的，但原始文件可能几十GB。
环境搭建：需要Xcode编译Swift代码，把项目clone下来，用Swift Package Manager装依赖，然后编译运行。对没接触过iOS开发的朋友，这步可能有点懵。
模型下载：得自己去搞千问MoE的模型权重文件，转换成项目需要的格式。好在千问模型是开源的，HuggingFace上能找到，但转换工具链得自己摸索。
性能预期：别指望iPhone跑80B模型像聊天App那么快。流式加载意味着首Token延迟可能几秒，生成速度大概每秒几个Token，做实时对话有点勉强，但异步处理任务完全够用。

一句话总结：适合愿意折腾的技术爱好者，或者身边有程序员朋友帮忙配置。一旦跑通，就是随身大模型利器。

如果Swiftlet的门槛劝退了你，或者想看看别的方案，这几个方向也能实现类似效果：

方案	优点	缺点
MLX + Qwen	苹果官方支持的框架，社区活跃，Mac上跑得溜，模型库现成	主要针对Mac，iPhone支持弱；内存占用还是高，80B模型跑不动
llama.cpp + iPhone	老牌项目，量化技术成熟，支持模型多，有iOS示例	主要针对稠密模型，MoE支持还在实验阶段；80B模型量化后也要大内存
Ollama + 远程访问	上手最简单，一键部署模型；配合内网穿透可在手机上用	本质还是靠服务器，不是真本地；有硬件成本和电费
Swiftlet	专为MoE设计，流式加载省内存，iPhone真本地跑80B	项目早期，配置复杂，模型单一，速度较慢

看得出来，Swiftlet的定位很精准：就是要在iPhone这种内存受限的设备上，靠流式加载硬怼大模型。如果你主力设备是iPhone，又非要用80B参数，它几乎是唯一解。

Swiftlet这波操作，确实把大模型本地化的门槛踩到了脚底。零成本、隐私安全、随时随用，对副业党来说吸引力拉满。但现阶段它更像一个极客玩具，真要打磨成生产力工具，还得等社区把模型转换、性能优化、UI交互这些补齐。

如果你符合下面几条，可以无脑冲：

否则，可以先观望，或者用MLX、llama.cpp这些更成熟的方案在Mac上跑。但话说回来，手机跑80B大模型这件事本身就够酷，发个朋友圈都能收割一波点赞，顺便接两个技术咨询的活儿，这不也是副业吗？