OpenAI GPT
GPT-4发布时，工程师一个手绘网页，传递给GPT-4时，模型会自动进行图片的识别，然后输出搭建整个网页的代码，强大的多模型模型吊足了大家的胃口。开源的MiniGPT-4多模态模型，让我们提前可以尝试一下GPT-4的魅力。
MiniGPT-4
MiniGPT-4代码实现
!git clone https://github.com/Vision-CAIR/MiniGPT-4.git� MiniGPT-4/!pip install -qr requirements.txt# requirements.txt 地址 https://github.com/WangRongsheng/Use-LLMs-in-Colab/blob/main/MiniGPT-4/requirements.txt!pip install -q salesforce-lavis!pip install -q bitsandbytes!pip install -q accelerate!pip install -q gradio==3.27.0!pip install -q h5py!pip install -q typing-extensions!pip install -q wheel!pip install -q git https://github.com/huggingface/transformers.git -U
首先，我们需要clone整个项目工程，并安装相应的第三方库，这里的requirements.txt文件需要到相应的链接自行下载，放置到MiniGPT-4根目录中。
# 13B模型 , 下载 checkpoint Aligned with Vicuna 13B!wget https://huggingface.co/wangrongsheng/MiniGPT4/blob/main/pretrained_minigpt4.pth# 7B模型 , 下载 Checkpoint Aligned with Vicuna 7B#!wget https://huggingface.co/wangrongsheng/MiniGPT4-7B/resolve/main/prerained_minigpt4_7b.pth
然后下载相关的checkpoint模型，这里官方提供了2个模型，一个13B参数模型，一个
7B参数模型。若运行13B模型，需要进行如下设置：
llama_model: "wangrongsheng/MiniGPT-4-LLaMA" ： minigpt4/configs/models/minigpt4.yamlckpt: 'pretrained_minigpt4.pth' ： eval_configs/minigpt4_eval.yaml
若运行7B参数模型，需要进行如下设置：
llama_model: "wangrongsheng/MiniGPT-4-LLaMA-7B" ： minigpt4/configs/models/minigpt4.yaml ckpt: 'prerained_minigpt4_7b.pth' ： eval_configs/minigpt4_eval.yaml
设置完成后，我们就可以运行代码了
!python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
上图是官方运行的一个图片，并转换成的html网页，可以看到模型完全识别了手绘图片上的文字，并按照要求编写了一个HTML网页，且网页可以正常打开，且模型生成的代码除了HTML还有JS/css相关代码。
小编使用了同样的照片，同样的文字，来复现官方的HTML网页，模型生成的HTML网页只有js，没有css的部分，生成的网页有相关的文字，但是没有css的渲染，估计还需要各种调参。
当然，除了写代码外，MiniGPT-4还有很多计算机视觉的功能，给定一个图片，就可以跟模型进行互动了。
当然模型同样支持多轮对话讨论，虽然模型已经开源，但是运行此模型需要的电脑资源还是要求比较高的，怪不得ChatGPT类似的大模型，这么费经费。模型支持在线试玩，可以在线玩一下。
https://minigpt-4.github.io/ # 在线试玩网站
扩展阅读：
OpenAI官方发布ChatGPT API接口gpt-3.5-turbo，python可直接调用
OpenAI开发的ChatGPT用来论文翻译与润色，效果强大
使用python调用ChatGPT的API，打造属于自己的桌面智能助手
花粉社群VIP加油站
关于作者
猜你喜欢
