0.1 摘要

在边缘计算设备上部署大模型是一个新鲜事儿,网上教程多,但实战少,多为按照官网文档直接在线安装,本文主要解决以下几个问题:

  1. 根本没有考虑到 特殊的网络环境 。
  2. 即使考虑到了 问题1 ,也没考虑到实际的边缘计算设备在工业环境下往往是不联网的,顶多在开发时连接网络,部署上后的运维一直存活在内网。
  3. 官方文档仅针对公版设备,国产定制的芯片、驱动、系统均需要特色化,其实际的配置与开发固然不能直接照搬。
  4. 折腾来折腾去,这货真的调用GPU了吗?
  5. CPU也不差,GPU也不强 ,权衡功耗与性能是得多考虑考虑。
  6. 这货的CUDA跟X86 GPU的CUDA到底有什么区别?如何迁移学习?

在此,感谢 图为信息科技(深圳)有限公司 对我赞助的 TWOWIN TW-T806 设备。

本文设备的核心为 NVIDIA Jetson Orin NX ,原则上,本文的相关经验可供同核心或同系列开发板参考。

阅读全文 »


0.1 摘要

在使用LLM开源模型的过程中,仅仅对 Prompt Engineer 即 提示词工程 上面做功夫必然不能够满足工业领域较为复杂的应用场景。因此本人决定重构一套架构,这并不是造轮子,而是以 松耦合 的应用视角把组件视为服务。

本文部分引用了2024年04月开源的RagFlow。

阅读全文 »