本文将基于我们组最近的工作《Large language models empowered autonomous edge AI for connected intelligence》介绍GPT-4最近的发展情况以及它在边缘计算和无线感知当中的重要应用,作者来自微软亚洲研究院及香港科技大学。这篇文章是将GPT-4与边缘计算相结合的工作,希望能抛砖引玉。本文分为以下几个部分:
Part I:GPT-4介绍Part II:GPT-4理论与应用的最新进展Part III:GPT-4邂逅边缘计算Part IV:GPT-4与6GPart 0: 导言本文稍微有一些长,先把总结放在最前面,方便大家知道文章的主要内容。
文章组织结构:在Part I当中,我们将介绍GPT-4的文字理解与生成能力、逻辑能力与规划能力、专业知识与学习能力以及编程能力。Part II主要介绍GPT-4的工具使用、工具制造以及模型微调当中的最新进展。Part III主要介绍我们自己的工作。Part IV将讨论一些GPT-4在边缘计算和6G中的其它应用。Paper贡献:(1) 我们提出了autonomous edge AI的概念,一个自组织与自提升的边缘AI系统;(2) 我们提出了使用GPT-4来协调IoT传感器和边缘AI模型,从而满足用户个性化需求,在实验当中,我们发现它能够准确解析用户意图,并且极大降低了端到端延迟; (3) 我们使用GPT-4编写联邦学习的代码来训练新的边缘AI模型,通过实验,我们发现GPT-4可以根据代码运行结果不断提高模型的准确率。论文原文链接:https://arxiv.org/abs/2307.02779Part I: GPT-4介绍2023年上半年最火的技术当属ChatGPT和GPT-4了。ChatGPT在发布后的短短五天内就有了一百万用户,现在已经有了超过一亿的用户和每月18亿的访问量。自ChatGPT发布以来,微软和英伟达的股票分别上涨了32%和230%。那么GPT-4有什么独特的魅力呢?
文字理解与文字生成:作为一个语言模型,GPT-4最擅长的就是文字理解与文字生成。我们可以输入论文让它帮我们总结、翻译、写个文献综述都毫无问题,平常写个邮件、essay、或者新闻稿也不在话下。在网络通信当中,每个设备有着很长的使用说明,GPT-4可以通过理解这些说明来对网络进行配置。逻辑能力与计划能力:GPT-4能获得巨大影响力的其中一个原因是它有着很多超出语言模型的能力,比如逻辑与计划。它可以解决一些十分困难的逻辑问题,比较著名的就是图1中的Lecun轮子问题。给定一个困难的任务,它可以计划将其分解为多个简单的子任务并一一完成,最终完成这个任务。在网络通信当中,它可以把用户的需求分解为不同IoT传感器可以执行的任务并且调用相应的传感器来完成复杂的任务。图6 GPT-4编写联邦学习代码与搜索Baseline的对比
Part IV: GPT-4与6G在上一个部分当中,我们展示了两个在边缘计算中使用GPT-4的例子。下面我们趁热打铁,围绕使用工具与大模型微调介绍一些GPT-4更广泛的应用。
1. 使用工具
(1) 在之前的文献当中有着数不清的调度算法被提出来,这些算法可以被看做是工具。工程师可以将自己的经验作为背景知识输入到GPT-4,GPT-4会很快学会这些知识并且根据外界环境选择合适的算法 。
(2) 之前Sigcom’22的最佳论文是软件定义网络整合 [6],软件定义网络中的设备也可以作为工具给GPT-4使用。
2. 大模型微调现在大模型的微调越来越轻量级,这为在边缘服务器上做大模型的联邦微调打下基础。联邦微调可以应用于病历生成等地方。
在6G当中,GPT-4还将在数据生成数据分析语义通信中扮演重要作用。
参考文献[0] Y. Shen, J. Shao, X. Zhang, Z. Lin, H. Pan, D. Li, J. Zhang, and K. B. Letaief, “Large Language Model Empowered Autonomous Edge AI for Connected Intelligence” arxiv preprint arxiv: 2307.02779, 2023.
[1] S. Bubeck et al., “Sparks of artificial general intelligence: Early experiments with GPT-4,” arXiv preprint arXiv:2303.12712, 2023.
[2] Y. Shen, K. Song, X. Tan, D. Li, W. Lu, and Y. Zhuang, “HuggingGPT: Solving AI tasks with ChatGPT and its friends in Hugging Face,” arXiv preprint arXiv:2303.17580, 2023.
[3] L. Zhang, Y. Zhang, K. Ren, D. Li, and Y. Yang, “MLCopilot: Unleashing the power of large language models in solving machine learning tasks,” arXiv preprint arXiv:2304.14979, 2023.
[4] K. B. Letaief, Y. Shi, J. Lu, and J. Lu, “Edge artificial intelligence for 6G: Vision, enabling technologies, and applications,” IEEE J. Sel. Areas Commun., vol. 40, pp. 5–36, Jan. 2022.
[5] Y. Mao, C. You, J. Zhang, K. Huang, and K. B. Letaief, “A survey on mobile edge computing: The communication perspective,” IEEE Commun. Surv. Tutor., vol. 19, pp. 2322–2358, Aug. 2017.
[6] H. Chen, et al. “Software-defined network assimilation: bridging the last mile towards centralized network configuration management with Nassim,” SIGCOM 2022.
作者:SHAO, Jiawei & LIN, Zehong
编辑:LIN, Zehong
花粉社群VIP加油站
猜你喜欢