机器之心报道

编辑：Panda

随着大型语言模型（LLM）技术的日渐成熟，其应用范围正在不断扩大。从智能写作到搜索引擎，LLM 的应用潜力正在一点点被挖掘。

最近，微软亚洲研究院提出可以将 LLM 用于工业控制，而且仅需少量示例样本就能达成优于传统强化学习方法的效果。该研究尝试使用 GPT-4 来控制空气调节系统（HVAC），得到了相当积极的结果。

图 1：使用 GPT-4 控制 HVAC 的工作流程示意图

该工作流程中的 LLM 和环境组件如下：

LLM：一个预训练大型语言模型，用作决策器。它会根据给出的 prompt 生成对应的响应。其 prompt 中应包含对当前状态的描述、简单的 HVAC 控制指令、相关状态的演示等。

环境：一个交互式环境或模拟器，可以执行 LLM 建议的动作并提供反馈。实验中所使用的具体评估环境为 BEAR (Zhang et al., 2022a)。为了在 BEAR 中创建环境，必须提供两个参数：建筑类型（如大型办公室、小型办公室、医院等）和天气条件（如炎热干燥、炎热潮湿、温暖干燥等）。此外，值得注意的是，每种天气状况都对应于特定的城市。例如，炎热干燥的天气状况与水牛城有关。

在 BEAR 中，每个状态都由一个数值向量表示，其中除了最后四个维度外，每个维度都对应于建筑物中一个房间的当前温度。最后四个维度分别代表室外温度、全局水平辐射（GHI）、地面温度和居住者功率。在所有环境中，首要目标是保持室温在 22 ℃ 附近，同时尽可能减少能耗。

BEAR 中的操作被编码为范围从 -1 到 1 的实数。负值表示制冷模式，正值表示加热模式。这些动作的绝对值对应于阀门打开程度，这能说明能耗情况。如果绝对值更大，那么能耗也就更大。在兼顾舒适度和能耗的条件下，研究者在实验中使用了以下奖励函数：

表 1：GPT-4 使用不同专家演示时的表现

图 3：在相同天气条件下，不同建筑对应不同的专家策略的情况

表 3：GPT-4 使用不同类型的注释时的表现

表 4：GPT-4 使用不同类型的描述和指示时的表现

表 5：在 prompt 中实数是否进行舍入的不同情况下，GPT-4 的性能

表 6：PPO 和 GPT 在天气扰动下的表现

花粉社群VIP加油站