3 月底，OpenAI 迎来了“iPhone 时刻”，可调用插件“帮助 ChatGPT 访问最新信息、运行计算或使用第三方服务。”以后，用户出门选哪个商店就可以通过询问 ChatGPT，而 ChatGPT 则会调用“美版大众点评”给用户建议。俨然一副超级流量入口的架势。

除了引入第三方工具插件如 WolframAlpha、OpenTable 等，OpenAI 还公布了自己开发的插件——浏览插件和代码解释器。其中，代码解释器可以用来生成代码、运行代码、上传和下载从 csv 数据到图像等一系列格式的文件，并在 ChatGPT 界面内评估输出结果。

目前，代码解释器可以运行 Python，但只能访问一小部分库，执行少数特定的任务。《华尔街日报》畅销小说家、OpenAI 领域的科学传播者 Andrew Mayne 最近就在一直测试代码解释器，他发现 ChatGPT 即使只能使用基本库，也能执行很多任务，非常有意思。

生成图片

在关于 ChatGPT 插件的博客文章中，我展示了一些用 Python 库进行图像处理的酷炫方法。这也让我不由得好奇，想看看 ChatGPT 还能用基础库做些什么。

使用 OpenCV（开放源代码计算机视觉类库）和一个简单的人脸识别算法(Haar Cascade Classifier)，代码解释器能够创建一个函数，在下面这张图片中找到我的脸：

用 OpenCV 查找人脸

生成动画

既然代码解释器可以生成数据，并将其输出为包括 gif 动图在内的不同格式，那我们就来测试一下，ChatGPT 具体能做到什么程度。

首先，我让 ChatGPT 制作一个弹跳的方块：

跳动的方块

光学字符识别（OCR）

事实证明，ChatGPT 的代码解释器基本库中，包含了光学字符识别（OCR）。我决定用一个网站的屏幕截图来测试一下。果然，这个方法有用。能把 OCR 与一个非常强大的语言模型相结合，这有可能让 ChatGPT 具备了一定的恢复旧文档的能力。

日程邀请

尽管代码解释器没有访问 ics 库的权限，但它可以以纯文本形式生成日程邀请，然后让 ChatGPT 将其保存为 .ics 文件。

绘画

虽然目前已经有一些用 GPT-4 生成 SVG（可缩放矢量图）的好玩儿案例，但我很好奇 ChatGPT 和代码解释器能用简单的条块图像做出什么。

我让 ChatGPT 画一只猫，结果它确实生成了一张形似猫的图片。为了确保 ChatGPT 并不是因为执行过类似训练才做到这一点，我进一步要求 ChatGPT 画的猫要戴一顶蓝色的高顶帽，再叼一支烟斗。输出的结果虽然不完全是我设想中的高顶帽，但确确实实是一顶帽子，而且是蓝色的。

貌似一只猫

一只戴帽子、叼烟斗的猫

模拟

这里重现一下开头的吃豆人模拟器，用代码解释器生成算法和 gif 动图的能力，让它制作一个迷宫，然后生成一个点找到迷宫的出口……然后让整个过程看起来像吃豆人游戏：

吃豆人模拟器

使用 Matplotlib 库，我们可以让 ChatGPT 模拟内行星（距离太阳最近的 4 颗行星）运行轨道，并将其保存为 gif 动图。

行星轨道

然后我想知道 ChatGPT 能否模拟一局跳棋。我设法移动了棋子，但出于礼貌没有取走任何其他玩家的棋子：

跳棋

那么 ChatGPT 可以模拟国际象棋吗？首先，我必须让 ChatGPT 创建它自己的国际象棋库（一个简化了规则的、不怎么标准的国际象棋库……）并使用 unicode 表示棋子，之后，ChatGPT 就能模拟一局游戏的开始，并将其保存为 gif 动图：

国际象棋

这是我与 ChatGPT 进行的关于生成国际象棋模拟过程的对话。可以看到，这里我只给出了一些指令，剩下的工作都是由 ChatGPT 和代码解释器完成的。

以上这些只是我对 ChatGPT 和代码解释器插件的部分探索。随着越来越多的人加入进来，我相信我们很快会看到一些真正令人惊叹的应用。

花粉社群VIP加油站