“全球最小AI超算”正式亮相：重量仅300克，算力可达190TOPS

12月11日消息，科技媒体Wccftech于昨日（12月10日）发布博文称，初创公司Tiiny AI推出了一款号称全球最小的AI超级计算机——Tiiny AI Pocket Lab。该设备仅重300克，尺寸与手掌相当，却配备了ARMv9.2架构的12核CPU和80GB LPDDR5X内存，算力可达190 TOPS。

IT之家通过博文介绍，这款计算机的尺寸为14.2×8×2.53厘米，重量大约300克，用户能轻松把它握在手掌里。虽然体积很小，但Tiiny AI表示该设备可以成功部署1200亿（120B）参数的模型，这在同类设备里还是第一次。

这款设备所支持的大语言模型（LLM），据称可出色应对“博士级推理、多步骤分析与深度上下文理解”这类任务；它配备了最新的ARMv9.2 12核CPU，并且借助定制化的异构模块（SoC加独立NPU），能够提供大约190 TOPS的AI算力。

为了支撑大型模型的运行，这款设备配备了80GB的LPDDR5X内存和1TB SSD存储空间。这样的大容量内存配置，能让用户采用激进的量化技术，进而在本地环境中流畅运行120B模型。同时，该设备的功耗控制表现优异，TDP为30W，系统典型功耗大约是65W。

Tiiny为了让120B模型能在这类紧凑设备上实现实用化，运用了两项关键技术。第一项是TurboSparse，这是一种基于神经元层面的稀疏激活技术，它可以在确保模型智能不受损的前提下，大幅提升推理的效率。

其次是PowerInfer，作为一款在GitHub上收获超8000星标的开源异构推理引擎，它可借助CPU与NPU间计算任务的动态分配，为复杂的LLM工作负载提供加速支持。

在软件生态层面，AI Pocket Lab 可一键部署 GPT-OSS、Llama、Qwen、DeepSeek、Mistral、Phi 等数十款主流开源模型与代理框架，全程无需联网或借助云端，能够实现完全离线运行。Tiiny AI 已明确表示，将在 2026 年 CES 展会上正式对该设备进行展示。