minigpt-4的prompt设置

Question

问题遇到的现象和发生背景

想通过Minigpt-4来生成一些对图片信息的描述，但是呢，交互页面却只能一张一张图片，而我每张图片都需要问三到四个问题，这很麻烦。我就想基于minigpt-4这个开源的，通过设置固定的prompt不通过交互页面，直接传进去，让他给出答案。
但是我不知道到底得怎么做呢？找不到他设置的prompt地方，和如何调用Minigpt4来实现功能？希望有做过类似项目的朋友可以分享一一下自己的经验！万分感谢~~·

Answer 1

您要实现自动生成图片描述的需求,我理解您的意思是不想一个一个在ChatGPT网页上手动输入图片和问题,而是想批量自动生成描述对吗?
使用Minigpt可以实现您的需求,方法如下:

1. 直接调用Minigpt的API接口,不需要使用交互页面。具体API参考官方文档:https://github.com/Sarafian/Minigpt
2. 准备prompts和图片的文本描述,比如:

Prompt:
Please provide a detailed description for the following image: 
{image_description}

Response: 

Prompt:  
Please describe the main colors in this image:
{image_description}

Response:

1. 在代码中循环每张图片,用Python的requests库调用Minigpt API,传入prompt和参数。
2. Minigpt会返回自动生成的描述文本,你可以保存解析结果。
3. 这样就可以批量自动完成了。
   具体实现可以参考这个例子:
   https://github.com/acheong08/minigpt/blob/main/example.py