0.1 摘要
在边缘计算设备上部署大模型是一个新鲜事儿,网上教程多,但实战少,多为按照官网文档直接在线安装,本文主要解决以下几个问题:
- 根本没有考虑到 特殊的网络环境 。
- 即使考虑到了 问题1 ,也没考虑到实际的边缘计算设备在工业环境下往往是不联网的,顶多在开发时连接网络,部署上后的运维一直存活在内网。
- 官方文档仅针对公版设备,国产定制的芯片、驱动、系统均需要特色化,其实际的配置与开发固然不能直接照搬。
- 折腾来折腾去,这货真的调用GPU了吗?
- CPU也不差,GPU也不强 ,权衡功耗与性能是得多考虑考虑。
- 这货的CUDA跟X86 GPU的CUDA到底有什么区别?如何迁移学习?
在此,感谢 图为信息科技(深圳)有限公司 对我赞助的 TWOWIN TW-T806 设备。
本文设备的核心为 NVIDIA Jetson Orin NX ,原则上,本文的相关经验可供同核心或同系列开发板参考。