【API】免费调用Qwen-vl2对图像打标

已于 2025-01-13 18:29:00 修改
阅读量1.8k 收藏 21
点赞数 15
CC 4.0 BY-SA版权
分类专栏： API调用 / 云服务器在线运行 文章标签： qwen-vl 图像打标 通义千问 图生文
于 2025-01-13 15:18:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/imwaters/article/details/145115947

首次调用通义千问API_大模型服务平台百炼(Model Studio)-阿里云帮助中心icon-default.png?t=O83Ahttps://help.aliyun.com/zh/model-studio/getting-started/first-api-call-to-qwen?spm=a2c4g.11186623.help-menu-2400256.d_0_1_0.8c693048HxtUzZ&scm=20140722.H_2840915._.OR_help-T_cn~zh-V_1

一、开通账号

  1. 注册账号：如果没有阿里云账号，您需要先注册阿里云账号。

  2. 开通百炼：前往百炼控制台，如果页面顶部显示以下消息，您需要开通百炼的模型服务，以获得免费额度。如果未显示该消息，则表示您已经开通。

    image

  3. 获取API Key：在控制台的右上角选择API-KEY，然后创建API Key，用于通过API调用大模型。

    image

二、配置环境

2.1 linux系统配置API Key到环境变量

（也可跳过，直接输入，复制代码过程中不安全）

echo "export DASHSCOPE_API_KEY='YOUR_DASHSCOPE_API_KEY'" >> ~/.bashrc

执行以下命令，使变更生效。

source ~/.bashrc

重新打开一个终端窗口，运行以下命令检查环境变量是否生效。

echo $DASHSCOPE_API_KEY

2.2 windows系统cmd添加

添加永久性环境变量

如果您希望API Key环境变量在当前用户的所有新会话中生效，可以按如下操作。

  1. 在CMD中运行以下命令。

    # 用您的 DashScope API Key 代替 YOUR_DASHSCOPE_API_KEY
setx DASHSCOPE_API_KEY "YOUR_DASHSCOPE_API_KEY"

  2. 打开一个新的CMD窗口。

  3. 在新的CMD窗口运行以下命令，检查环境变量是否生效。

    echo %DASHSCOPE_API_KEY%

2.3  安装 依赖 （之前需要安装python）

pip3 install -U openai
# pip3 install -U dashscope

三、测试代码 (可对一个文件夹图片打标)

3.1 文字智能助手 (官方hello-world)

import os
from openai import OpenAI

try:
    client = OpenAI(
        # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
        # api_key="sk-xxx"
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )

    completion = client.chat.completions.create(
        model="qwen-plus",  # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
        messages=[
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            {'role': 'user', 'content': '你是谁？'}
            ]
    )
    print(completion.choices[0].message.content)
except Exception as e:
    print(f"错误信息：{e}")
    print("请参考文档：https://help.aliyun.com/zh/model-studio/developer-reference/error-code")

3.2  上传本地图片并进行打标 （记得改文件类型）

from openai import OpenAI
import os
import base64


#  base 64 编码格式
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")


input_image_path = r"C:\Users\admin\Downloads\anytext.png"
base64_image = encode_image(input_image_path)
client = OpenAI(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx"
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-vl-max-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    # 需要注意，传入BASE64，图像格式（即image/{format}）需要与支持的图片列表中的Content Type保持一致。"f"是字符串格式化的方法。
                    # PNG图像：  f"data:image/png;base64,{base64_image}"
                    # JPEG图像： f"data:image/jpeg;base64,{base64_image}"
                    # WEBP图像： f"data:image/webp;base64,{base64_image}"
                    "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}, 
                },
                {"type": "text", "text": "描述这张图片，分别用中文，英文2种方式"},
            ],
        }
    ],
)
print(completion.choices[0].message.content)

3.2.1 本地的图片与运行结果结果

3.3  上传一张图片or 对一个文件夹打标，将图片打标后保存到txt

    one_img_qwenvl_2_txt(input_image_path)    # 单张图片
    dir_img_qwenvl_2_txt(r"D:\code\test")           # 处理文件夹

其中，下面代码可有针对性指导打标结果，可以输出制定格式

 {"type": "text", "text": "详细描述这张图片。分别用中文，英文2种方式描述，中文和英文间，用\n隔开"},

from openai import OpenAI
import os
import base64
import time

#  base 64 编码格式
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")



def img2text(input_image_path):
    img_type=input_image_path.rsplit('.')[1]  # 从右边的第一个‘.’分割一次， “xxxx/xx.png”=["xxxx/xx/xx.","png" ]，所以取第2个元素
    print('img_type:',img_type)
    base64_image = encode_image(input_image_path)
    client = OpenAI(
        # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx"
        api_key=os.getenv('DASHSCOPE_API_KEY'),
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )
    completion = client.chat.completions.create(
        model="qwen-vl-max-latest",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        # 需要注意，传入BASE64，图像格式（即image/{format}）需要与支持的图片列表中的Content Type保持一致。"f"是字符串格式化的方法。
                        # PNG图像：  f"data:image/png;base64,{base64_image}"
                        # JPEG图像： f"data:image/jpeg;base64,{base64_image}"
                        # WEBP图像： f"data:image/webp;base64,{base64_image}"
                        "image_url": {"url": f"data:image/{img_type};base64,{base64_image}"}, 
                    },
                    {"type": "text", "text": "详细描述这张图片。分别用中文，英文2种方式描述，中文和英文间，用\n隔开"},
                ],
            }
        ],
    )
    content=completion.choices[0].message.content
    print(content)
    return content



def write_txt(content,name,out_dir='./'):
    with open(f'{out_dir}/{name}.txt', 'w') as f:
        f.write(content)


def one_img_qwenvl_2_txt(input_image_path):
    t1=time.time()
    img_dir=os.path.dirname(input_image_path)
    content=img2text(input_image_path)
    name=os.path.basename(input_image_path).rsplit('.')[0]  # 取文件名，去掉后缀
    # print('img_dir:file_name',img_dir,name)
    cn_text,en_text=content.split('\n') # 根据输出结果进行解析
    write_txt(en_text,name,img_dir)
    print(f'img {name} cost time:',round(time.time()-t1,2),"秒")
    return cn_text,en_text


def dir_img_qwenvl_2_txt(img_dir):
    img_list=[  file for file in os.listdir(img_dir)  if  file.endswith((".jpg", ".png", ".jpeg", ".webp"))]
    t0=time.time()
    for img_file in img_list:
        
        # print('img_file',img_file)
        input_image_path=os.path.join(img_dir,img_file)
        cn_text,en_text=one_img_qwenvl_2_txt(input_image_path)  
        
    print('Dir cost time:',round(time.time()-t0,2),"秒")



if __name__ == '__main__':
    input_image_path = r"D:\code\0train\feij.png"
    one_img_qwenvl_2_txt(input_image_path)  # 单张图片
    dir_img_qwenvl_2_txt(r"D:\code\test")  # 处理文件夹

3.3.1  对文件夹打标结果

log

开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
阿里千问系列：Qwen大模型API调用（Python版）
最新发布
不积跬步，无以至千里！
05-10 1607
官方参考链接：https://help.aliyun.com/zh/model-studio/vision?界面，找到需要授权的子业务空间后，单击其右侧的模型权限流控设置。3、选择需要的模型，编辑权限，并保存。，单击创建我的API-KEY。
搭建 Qwen2-VL 接口
weixin_44929001的博客
02-08 1658
Qwen2-VL 是一个多模态大模型，支持视觉和语言的理解与生成任务。它结合了视觉（Vision）和语言（Language）的能力，能够处理图像和文本的联合输入，并生成高质量的文本输出
API调用Qwen系列模型
xvmaoshi的博客
02-13 1776
在标题下方，列出了主要演员的名字：劳伦斯·奥利维尔 （Laurence Olivier） 和琼·方丹 （Joan Fontaine）。海报还提到，这部电影由阿尔弗雷德·希区柯克执导，大卫·塞尔兹尼克担任制片人，他也是《乱世佳人》的制片人。海报上有一幅插图，一个穿着白色连衣裙的女人站在一座豪宅附近，这可能是故事的背景曼德利。背景是绿色的，有两个人的图像，大概是主角，望着远方。这是电影《丽贝卡》的海报，由琼·方丹和劳伦斯·奥利维尔饰演两个主要角色。左下角还有一幅插图，显示一名女子站在阳台上，俯瞰着一座大房子。
ComfyUI-Qwen-VL-API 使用指南
gitblog_00829的博客
08-21 936
ComfyUI-Qwen-VL-API 使用指南 项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-Qwen-VL-API 项目介绍 ComfyUI-Qwen-VL-API 是一个基于 ComfyUI 的扩展，它集成了阿里云的 Qwen 大规模语言模型与视觉理解能力（VL API），旨在提供给开发者和爱好者们一种便捷的方式，来利用高级自然语言处理和视觉分...
推荐开源项目：ComfyUI-Qwen-VL-API - 舒适的UI与强大的语义理解API
gitblog_00002的博客
04-07 999
推荐开源项目：ComfyUI-Qwen-VL-API - 舒适的UI与强大的语义理解API 项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-Qwen-VL-API 项目简介 是一个结合了优美用户界面（UI）和先进自然语言处理能力的开放源代码项目。它提供了一个易于使用的API，用于交互式问答、语义理解和多模态任务，旨在为开发者提供强大而便捷的工具，帮助他...
ComfyUI-Qwen-VL-API 开源项目教程
gitblog_00611的博客
08-21 639
ComfyUI-Qwen-VL-API 开源项目教程 ComfyUI-Qwen-VL-APIQWen-VL-Plus & QWen-VL-Max in ComfyUI项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-Qwen-VL-API 本教程旨在详细介绍位于 https://github.com/ZHO-ZHO-ZHO/ComfyUI-Qwen-V...
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
10-16
Qwen-VL是一个具有代表性的多模态大模型，它融合了视觉和语言两种模态的数据，能够实现对图像和文本数据的理解和处理。在实际应用中，Qwen-VL模型通常被用于图像标注、图像检索、视觉问答等场景。通过对Qwen-VL模型...
Python 使用千问Qwen2-VL 大模型进行训练并识别图像工程源码
12-18
此外，千问Qwen2-VL大模型作为人工智能领域的一项重要技术，其对自然语言处理和图像识别的结合，展现了人工智能处理多模态信息的潜力。通过使用这样的大模型，我们可以期待未来的人工智能系统能够更好地理解和描述...
Qwen-Free-API 使用指南
gitblog_00132的博客
08-22 1238
Qwen-Free-API 使用指南 项目地址:https://gitcode.com/gh_mirrors/qw/qwen-free-api 本指南旨在帮助开发者快速理解和上手 Qwen-Free-API 开源项目，我们将从项目的基础结构开始，逐步深入到启动文件与配置文件的细节。 1. 项目目录结构及介绍 Qwen-Free-API/ |-- README.md #...
使用llama-factory框架下的QWEN2-VL-2B-Instruct跑通图像指令数据集（学习记录）
2301_80247435的博客
11-11 2556
使用llama-factory框架跑通自己的数据集
【深度学习】Qwen2-VL API速度测试与部署
q742971636的博客
10-12 881
在我最近的博客中，我深入探讨了如何使用 Qwen2-VL 模型来优化图像处理的显存占用和 API 服务的配置。这篇文章针对想要高效利用 vllm 的开发者提供了实用的指南，包括如何启动 Docker 镜像、安装必要的依赖，以及如何配置。我详细介绍了使用 Docker 启动 Qwen2-VL 的步骤，分享了相关的代码示例，并讨论了显存占用问题。通过实际测试，我还展示了不同配置下的平均执行时间和显存占用情况，帮助读者了解如何优化其模型的性能。参数以平衡性能与计算资源消耗。
qwen2.5-vl使用vllm部署gradio页面调用
weixin_42479327的博客
03-13 1670
想在服务器上用vllm部署qwen2.5-vl, 然后使用gradio页面在本地调试，官方代码给了两条命令，列出的request body体结构， 不过要与gradio连用， 还需要重新组织代码。
qwen API调用
mddCSDN的博客
03-11 2847
【代码】qwen API调用。
vllm docker部署qwen等大模型推理；api post调用访问
weixin_42357472的博客
05-14 1730
参考：下载镜像：镜像默认最后一层就是python -m vllm.entrypoints.openai.api_server。
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 5067
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
Qwen VL模型架构
03-01
### Qwen VL 模型架构介绍 #### 多模态输入处理机制 Qwen VL 设计用于接收并处理多种类型的输入数据，特别是文本和图像两种主要形式的数据。对于每种类型的数据，模型都配备了专门的编码器来提取特征向量表示[^1]。 #### 编码器结构 针对文本部分，采用基于Transformer的语言模型作为编码组件；而对于图像，则利用改进版的卷积神经网络(Convolutional Neural Network, CNN)，或者是更先进的视觉变换器(Vision Transformer, ViT)[^2]。这些编码模块能够分别捕捉各自领域内的复杂模式，并将其转换成高维空间中的稠密向量表达。 #### 跨模态融合层 为了实现对不同来源信息的有效整合，在两个独立编码之后设置了跨模态交互单元(Cross-modal Interaction Unit, CIU)。CIU通过特定算法使得来自文本域和图片域的信息可以在共同的空间里相互作用，从而形成更加丰富的联合表征。 #### 解码与输出预测 最后阶段涉及解码过程以及最终的任务导向型输出生成。依据具体应用场景需求——比如图文检索、描述生成或是问答系统等——该框架可以灵活调整其末端组件的设计思路，以适应多样化的下游任务要求。 ```python # 这是一个简化版本的概念示意代码，实际应用中会更为复杂 class CrossModalInteractionUnit(nn.Module): def __init__(self, input_dim_text, input_dim_image, hidden_size): super().__init__() self.fc_text = nn.Linear(input_dim_text, hidden_size) self.fc_image = nn.Linear(input_dim_image, hidden_size) def forward(self, text_features, image_features): transformed_text = F.relu(self.fc_text(text_features)) transformed_image = F.relu(self.fc_image(image_features)) # 假设这里有一个简单的相加操作来进行初步的跨模态融合 fused_representation = torch.add(transformed_text, transformed_image) return fused_representation ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值