美国深度科技AI初创公司Tiiny AI近日发布突破性演示:一台14年前的老式电脑在无需联网的情况下,流畅运行了参数量达1200亿的AI大模型。这段一镜到底的视频展示了该公司自主研发的个人超级计算机Pocket Lab的强大性能——在配备英特尔酷睿i3-530处理器、2GB DDR3内存和CRT显示器的2011年旧电脑上,通过连接Pocket Lab设备,成功实现了平均每秒20个token的ChatGPT交互速度。
技术突破:让老旧硬件重获新生
演示过程中,研究团队向模型提出"你是谁?"以及"为什么1+1=2?"等问题,后者触发了模型长达1582个token的详细数学原理阐释,处理速度达每秒18.6个token。Tiiny AI市场拓展总监萨马尔·博杰表示:"这项演示证明了AI行业长期认为不可能的事情——大模型智能不再需要庞大的GPU集群或云基础设施。通过Pocket Lab,先进AI可以私密、离线地在日常硬件上运行,哪怕是14年前的电脑。AI的未来属于人,而非数据中心。"
核心技术:TurboSparse与PowerInfer双引擎驱动
Pocket Lab的核心动力来自Tiiny AI两项专有技术:TurboSparse通过精准激活必要神经元提升效率,同时保持模型智能不缩水;PowerInfer则将AI工作负载智能分配到CPU与NPU,在显著降低功耗的同时提升性能。该设备搭载ARMv9.2架构12核CPU、80GB LPDDR5X内存和1TB固态硬盘,重量仅约300克,功耗65W,支持Llama、Qwen、DeepSeek、Mistral、Phi及GPT-OSS等主流开源模型。
应用前景:离线AI赋能多元场景
Pocket Lab专为广泛个人AI应用设计,赋能创作者、开发者、研究人员、学生等群体实现多步骤推理、深度上下文理解、智能体工作流、内容生成及安全数据处理——全部无需网络连接。用户数据、偏好和文档通过银行级加密技术本地存储,提供比传统云端AI系统更持久的记忆能力和显著增强的隐私保护。
这项技术突破不仅重新定义了边缘计算的可能性,更为AI普惠化开辟了新路径:未来每个人都能在任意设备上私密、高效地调用云端级大模型能力,真正实现"人工智能,触手可及"。
评论 (0)