在转换模型输出的内容时遇到问题

在转换模型输出的内容时遇到问题，代码如下：

import os
import cv2
import torch, gc

import numpy as np
import albumentations as albu
import segmentation_models_pytorch as smp

from albumentations.pytorch import ToTensorV2
from albumentations import Compose
from numba.cuda.libdeviceimpl import args

from tqdm import tqdm

CONFIG = {
    'img_size': 224,
    'model_name': 'timm-efficientnet-b0',
    'ckpt': 'am_224_latest.pth.tar',
}

os.environ['CUDA_VISIBLE_DEVICES'] = "0"


# device = torch.device("cuda:0" if torch.cuda.is_available() and not args.no_cuda else "cpu")


def make_transforms(tta=False):
    list_transforms = []
    if tta:
        list_transforms.extend(
            [
                albu.HorizontalFlip(p=1),
            ]
        )
    list_transforms.extend(
        [
            albu.Resize(CONFIG['img_size'], CONFIG['img_size']),
            ToTensorV2(),
        ]
    )

    list_trfms = Compose(list_transforms)
    return list_trfms


model = smp.UnetPlusPlus(
    CONFIG['model_name'],
    classes=1,
    encoder_weights=None,
    activation=None,
).cuda()
stuff = torch.load(CONFIG['ckpt'])
model.load_state_dict(stuff['state_dict'])
model.eval()


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


test_trans = make_transforms()
tta_trans = make_transforms(tta=True)


def crop_image(img, crop_w, crop_h):
    ori_size = img.shape[0:2]  # 原图尺寸 (height, width)
    row_num = int(ori_size[0] / crop_h) + 1
    column_num = int(ori_size[1] / crop_w) + 1

    new_height = row_num * crop_h  # 小图像尺寸整倍数的大图像
    new_width = column_num * crop_w

    pad_h = new_height - ori_size[0]  # 在高维度上需要填充的像素
    pad_w = new_width - ori_size[1]

    # 从右下方填充
    img_new = cv2.copyMakeBorder(img, 0, pad_h, 0, pad_w, cv2.BORDER_CONSTANT, None, (0, 0, 0))

    crop_list = []
    for i in range(row_num):
        for j in range(column_num):
            img_crop = img_new[i * crop_h: (i + 1) * crop_h, j * crop_w: (j + 1) * crop_w]
            crop_list.append(img_crop)
    return crop_list, row_num, column_num


def compose_crop(mask_list, crop_w, crop_h, row, column, ori_w, ori_h):
    new_width = crop_w * column
    new_height = crop_h * row

    to_image = np.zeros((new_height, new_width, 1))
    i = 0
    for j in range(row):
        for k in range(column):
            to_image[j * crop_h: (j + 1) * crop_h, k * crop_w: (k + 1) * crop_w] = mask_list[i]
            i += 1

    return to_image[0:ori_h, 0:ori_w]


# input_dir = 'test.png'
# output_dir = 'image_output'
# trans_type = 'compose'

# if not os.path.exists(output_dir):
#     os.makedirs(output_dir)
def seal_ps(images, trans_type):
    # for temp_img in tqdm(os.listdir('test.png')):
    #     print(temp_img)
    #     if temp_img == '.ipynb_checkpoints':
    #         continue
    #     img_path = os.path.join(input_dir, temp_img)
    img_ori = cv2.imread(images)
    ori_size = img_ori.shape[0:2]
    crop_list, row_num, column_num = crop_image(img_ori, CONFIG['img_size'], CONFIG['img_size'])

    mask_list = []

    for i, crop_item in enumerate(crop_list):
        # img_path = os.path.join('example/1', name)
        # image = cv2.imread(img_path)
        img_rgb = cv2.cvtColor(crop_item, cv2.COLOR_BGR2RGB)
        shape = img_rgb.shape
        augmented = test_trans(image=img_rgb)
        img = augmented['image']
        img = img.float()

        ttaa = tta_trans(image=img_rgb)
        image_tta = ttaa['image']
        image_tta = image_tta.float()

        mask1 = 0

        if trans_type == 'default':

            masks1 = model(img.unsqueeze(0).cuda())

            mask1 += albu.Resize(shape[0], shape[1])(image=masks1[0].permute(1, 2, 0).detach().cpu().numpy())['image']
        elif trans_type == 'tta':
            masks_tta1 = model(image_tta.unsqueeze(0).cuda())
            mask1 += \
                albu.Resize(shape[0], shape[1])(
                    image=np.flip(masks_tta1[0].permute(1, 2, 0).detach().cpu().numpy(), axis=1))[
                    'image']
        elif trans_type == 'compose':
            masks1 = model(img.unsqueeze(0).cuda())

            mask1 += albu.Resize(shape[0], shape[1])(image=masks1[0].permute(1, 2, 0).detach().cpu().numpy())['image']
            masks_tta1 = model(image_tta.unsqueeze(0).cuda())
            mask1 += \
                albu.Resize(shape[0], shape[1])(
                    image=np.flip(masks_tta1[0].permute(1, 2, 0).detach().cpu().numpy(), axis=1))[
                    'image']
            mask1 /= 2

        fake_mask = ((sigmoid(mask1) > 0.5) * 255.).astype(np.uint8)
        mask_list.append(fake_mask.astype(np.uint8))

    mask_image = compose_crop(mask_list, CONFIG['img_size'], CONFIG['img_size'], row_num, column_num, ori_size[1],
                              ori_size[0])

    mask_image = mask_image.squeeze()
    mask_image = mask_image.astype(np.uint8)

    contours, _ = cv2.findContours(mask_image, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    cv2.drawContours(img_ori, contours, -1, (255, 0, 0), 1)

    # img_ori = img_ori[:, :, ::-1]
    # img_ori[..., 2] = np.where(mask_image == 1, 255, img_ori[..., 2])

    # cv2.imwrite(os.path.join(output_dir, temp_img), img_ori)
    gc.collect()
    torch.cuda.empty_cache()

    return mask_list


if __name__ == '__main__':
    from PIL import Image


    # pic = open("8.png", "rb")
    b = seal_ps('test.png', trans_type='default')
    # b.show()

    # b = cv2.imread('8.png')
    # im = Image.fromarray(b)
    print(b)
    print(type(b))

输出信息如下：

[array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8), array([[[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       ...,

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]],

       [[0],
        [0],
        [0],
        ...,
        [0],
        [0],
        [0]]], dtype=uint8)]
<class 'list'>

Process finished with exit code 0

我的目的就是把输出的这个图片信息转化成base64和图片供我其他的模型使用

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Zyb0627 2023-04-13 19:56
关注
引用chatGPT作答，您需要将输出的图片信息转换为base64编码格式以及可供其他模型使用的图像，可以尝试使用以下代码进行转换：

import cv2 import base64 import numpy as np def encode_image(image): # 将图像转换为JPEG格式，压缩质量为95% _, img_encoded = cv2.imencode('.jpg', image, [int(cv2.IMWRITE_JPEG_QUALITY), 95]) # 将编码后的图像转换为base64编码格式 img_base64 = base64.b64encode(img_encoded).decode('utf-8') return img_base64 def decode_image(image_base64): # 将base64编码的图像解码 img_decoded = base64.b64decode(image_base64) # 将解码后的图像转换为numpy数组格式 img_array = np.frombuffer(img_decoded, dtype=np.uint8) # 将numpy数组转换为图像格式 img = cv2.imdecode(img_array, cv2.IMREAD_COLOR) return img

其中，encode_image函数将输入的图像转换为JPEG格式，然后将其编码为base64格式并返回；decode_image函数将输入的base64编码的图像解码为numpy数组，然后将其转换为图像格式并返回。

您可以在将图像输出到其他模型之前，使用encode_image函数将其转换为base64格式，然后在其他模型中使用decode_image函数将其解码为图像格式。
本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

在做人工智能检测印章时遇到了问题 python 开发语言有问必答
2023-04-11 14:57

回答 9 已采纳编码成2进制后用base64转下 import json import base64 #yolo_res_list = yolo_res.pandas().xyxy[0].values.tolist
使用自己的训练模型，在opencv调用yolov5时遇到的问题 opencv 深度学习计算机视觉
2022-03-27 17:38

回答 2 已采纳请更新最新版本的代码，预训练模型适用最新版本的就不会出现这个问题了，导致这个问题的话就是你用的模型是旧版本yolov5-5.0版本直接拷贝过来的吧，没有下载最新的
C# 数组类型属性在set时转换类型问题
2017-01-11 09:30

回答 4 已采纳代码如下，写的比较简陋，你使用的时候就用ByteArray就可以了 ```class A { private int[] b = new int[10];
编程语言发展史之：编程语言与量子计算
2023-09-25 01:18

禅与计算机程序设计艺术的博客在探索新的计算方式时，工程师们需要掌握一些编程语言知识，例如掌握哪些编程语言比较适合量子计算相关的任务。由于我国人工智能领域的蓬勃发展，计算机技术日渐成熟。本文将介绍现代编程语言发展历史、语言之间的...
javascript编程语言怎么实现交换4个数字，即abcd，要转换成dcba javascript
2018-06-09 05:32

回答 11 已采纳 http://www.w3school.com.cn/jsref/jsref_reverse.asp
在char与int的强行转换中遇到的问题？
2018-10-09 12:24

回答 2 已采纳烫是因为没初始化你改成下面试试 ```int main() { int a=3, b=5; int i = 0; char s[80] = {'\0'}; scanf_
vHDL语言的问题不理解布尔逻辑的NOT为什么写代码时是转换成了NAND matlab sql 开发语言
2021-10-14 10:04

回答 1 已采纳 1：这是个 2 输入与非门，并且将 2 个输入 A,B 连在一起合并成 1 个输入，这个输入始终是 A = B 的，不会存在 A 不等于 B 现象，你画的红圈的逻辑是不存在的。2： NOT 为什么
大语言模型(LLM)入门学习路线图
2024-02-28 17:36

Kk-Quiana的博客 Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
数字字符转换相关内容 c++ c语言数据结构
2022-05-28 22:30

回答 2 已采纳 #include <stdio.h> #include <stdlib.h> #include <string.h> void convert(char st
输入一个字符，判断它是否为大写字母，如果是，将它转换成小写字母，如果不是则不转换可是输出始终是“？”(语言-c语言) c语言开发语言有问必答
2022-01-26 22:22

回答 3 已采纳 printf("%d", ch); 改成 printf("%c", ch); scanf_s函数字符变量后面要加字符长度1。scanf_s函数为了确保字符串安全，要求参数指定字符串
C语言不同数据类型数据运算时的类型转换问题 c语言有问必答
2022-03-12 11:44

回答 3 已采纳 5/9是两个整数相除，是进行整除操作，结果会是0，你的错误主要是这个原因。改成5.0/9，5/9.0，或者5*(F-32)/9 等都可以。
模型转换、模型压缩、模型加速工具汇总
2021-06-23 19:07

Tom Hardy的博客点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达编辑丨机器学习AI算法工程一、场景需求解读在现实场景中，我们经常会遇到这样一个问题，即某篇论文的结果很棒，但是作者提供的训练模型...
R软件加载rjags时显示：转换文件名时出了问题--名字太长了。应该怎么解决？ r语言有问必答
2021-05-20 19:09

回答 2 已采纳参考一下：https://gist.github.com/casallas/8411082
【半监督学习论文】基于半监督学习的语言生成模型研究
2023-07-16 01:16

禅与计算机程序设计艺术的博客近年来，随着大规模文本数据的快速增长、训练数据量的增加以及深度神经网络模型的普及，在自然语言处理领域的深度学习模型也取得了很大的进步。受限于真实世界的数据集的稀缺性，深度学习模型往往面临过拟合的问题。...
自学大语言模型的应用程序框架Langchain（初入门）
2023-05-13 19:40

深度学习的学习僧的博客通常，在应用程序中使用语言模型时，你并不会直接将用户输入发送给语言模型。相反，你可能会将用户输入组合成一个提示，并将该提示发送给语言模型。例如，在前面的例子中，我们传递的文本是硬编码的，要求输入一个...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已结题（查看结题原因） 4月14日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 4月14日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 4月13日

悬赏问题

¥15 对于知识的学以致用的解释
¥50 三种调度算法报错有实例
¥15 关于#python#的问题，请各位专家解答！
¥200 询问：python实现大地主题正反算的程序设计，有偿
¥15 smptlib使用465端口发送邮件失败
¥200 总是报错，能帮助用python实现程序实现高斯正反算吗？有偿
¥15 对于squad数据集的基于bert模型的微调
¥15 为什么我运行这个网络会出现以下报错？CRNN神经网络
¥20 steam下载游戏占用内存
¥15 CST保存项目时失败

在转换模型输出的内容时遇到问题

2条回答 默认 最新

问题事件

悬赏问题

2条回答默认最新