- 博客(9)
- 收藏
- 关注
RSS订阅原创 论文阅读 | Smartbrush: Text and shape guided object inpainting with diffusion model
现存方法的问题：之前的方法如DALLE-2和StableDiffusion，都只支持文本引导，不支持mask的形状引导，生成内容时会改变object周围的背景纹理。为此，本文提出了一种能同时利用文本和mask形状进行引导生成的方法。具体的，通过使用新的采样策略和训练方式，让模型在生成内容的同时预测物体的mask，能让object外的背景部分保存得更好；同时提出了一种多任务训练策略，联合训练inpaint和文生图任务，能利用更多的数据进行训练。最终结果，从视觉质量、mask控制能力和背景保存度都更好。
2024-01-01 18:04:50
1208
1
原创 论文阅读 | Uni-paint:A Unified Framework for Multimodal Image Inpainting with Pretrained Diffusion Model
提出了一个统一的多种模态引导生成框架，对文本和参考图模态，将其转成Text Embedding；对简笔画模态，在去噪过程中与原图融合。另外两个策略，Mask finetuing使用少部分数据让模型具备在mask区域生成合理内容的能力，Masked attention让模型在mask区域生成的内容不会超过mask之外的区域。
2023-12-17 16:47:25
1341
1
原创 论文阅读 | RePaint: Inpainting using Denoising Diffusion Probabilistic Models
RePaint：使用训练好的扩散模型，在去噪过程中加入mask和resample策略，适配inpainting任务。
2023-12-10 21:25:22
2336
原创 文本文件的常用处理命令
7. 从文本文件的每一行截取关键字后面的几位 （取loss值，绘制loss曲线）1. 获取某路径下所有文件的绝对路径，并以列表形式存储在文件中。6. 取文本文件所有行的第一列（只取文件名，去除标签id）4. 相对路径改为绝对路径（文件每一行开头加指定内容）5. 两个文本文件按对应的列标拼接，并以制表符为间隔。2. 多个文本文件拼接。3. 打乱文本文件顺序。
2023-11-19 23:46:21
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人