论文地址:https://ieeexplore.ieee.org/document/10387715/

0.1 阅读前言

以下对 大语言模型 称之为 LLM ,对 知识图谱 称之为 KG

0.2 阅读摘要

本文综述了当前LLM+KG的三个主流研究方向

  • KG加成的LLM(KG-enhanced LLMs)
  • LLM加成的KG(LLM-augmented KGs)
  • LLM与KG协同(Synergized LLMs + KGs)

对两者各自的背景知识、优缺点进行阐述,得出“互补”的观点,并对目前三个主流研究方向的细分方向进行解释、方法举例。

阅读全文 »


0.1 摘要

在边缘计算设备上部署大模型是一个新鲜事儿,网上教程多,但实战少,多为按照官网文档直接在线安装,本文主要解决以下几个问题:

  1. 根本没有考虑到 特殊的网络环境
  2. 即使考虑到了 问题1 ,也没考虑到实际的边缘计算设备在工业环境下往往是不联网的,顶多在开发时连接网络,部署上后的运维一直存活在内网。
  3. 官方文档仅针对公版设备,国产定制的芯片、驱动、系统均需要特色化,其实际的配置与开发固然不能直接照搬。
  4. 折腾来折腾去,这货真的调用GPU了吗?
  5. CPU也不差,GPU也不强 ,权衡功耗与性能是得多考虑考虑。
  6. 这货的CUDA跟X86 GPU的CUDA到底有什么区别?如何迁移学习

在此,感谢 图为信息科技(深圳)有限公司 对我赞助的 TWOWIN TW-T806 设备。

本文设备的核心为 NVIDIA Jetson Orin NX ,原则上,本文的相关经验可供同核心或同系列开发板参考。

阅读全文 »