近年来，本地部署大语言模型（LLM）的趋势逐渐兴起，吸引了众多技术爱好者的关注。他们不再满足于云端运行模型，而是倾向于在个人电脑或系统上搭建这些强大的语言处理工具。
在这一背景下，越南开发者Binh Pham的一项创新实验尤为引人注目。他成功地利用树莓派Zero（Raspberry Pi Zero）这款小型设备，将其改造为能够本地运行LLM的USB驱动器，无需依赖其他额外硬件。
Pham的这一项目得益于llama.cpp和llamafile的支持，这两者结合指令集和一系列轻量级软件包，为用户提供了一种离线的、轻量级的聊天机器人体验。然而，将llama.cpp移植到树莓派Zero并非易事，因为这款设备已经问世八年，硬件性能相对有限。
为了克服硬件上的限制，Pham首先将树莓派Zero连接到USB接口，并为其定制了一个3D打印外壳。然而，项目进展并非一帆风顺。树莓派Zero W的512MB内存成为了另一大障碍。在尝试将llama.cpp编译到该设备时，Pham遭遇了失败，此前也无人尝试在树莓派Zero或One上编译该软件。
问题的关键在于树莓派Zero的CPU采用的是ARMv6架构，而llama.cpp的ARMv8指令集并不兼容。为了绕过这一难题，Pham对llama.cpp的源代码进行了大量修改，将其ARMv8指令集转换为适配ARMv6的版本，并移除了所有基于现代硬件的优化或注释。
在成功修改源代码后，Pham将注意力转向了软件的运行和用户体验的优化。他设计了一个基于文本文件输入的LLM实现方案，用户可以通过输入文本文件作为提示，LLM则根据这些提示生成故事，并以完整的输出文件形式返回给用户。
为了测试这一方案的性能，Pham设置了64个token的限制，并对多个不同大小的模型进行了基准测试。测试结果显示，Tiny15M模型每个token的处理速度为223毫秒，而较大的Lamini-T5-Flan-77M模型和SmolLM2-136M模型的处理速度则分别为2.5秒和2.2秒。
尽管这一项目在技术上取得了创新性突破，但在实际应用中，使用树莓派Zero这类老旧且轻量级的硬件运行本地LLM仍存在诸多局限。尤其是在处理速度方面，该设备在许多实际应用场景中可能会显得力不从心。因此，对于追求更高性能和更广泛应用场景的用户来说，选择更复杂的模型和更强大的硬件平台可能会是更明智的选择。
