家人们!Kontext-DEV突然开源!12B参数多模态编辑神器,效果直逼Pro版!附全套测试案例

一、Kontext Dev说明

家人们,Kontext不声不响的就开源了,真是牛逼,我从昨天下午开始测试,测了一整天哈哈哈,今天早上才发布,发现dev开源版本的效果和API版本的差距不是很大,该测试的案例都测试了,都可以生成相对满意的效果,真的无敌了,今天给大家再来分享下我的测试结果。

FLUX.1 Kontext 是 Black Forest Labs 推出的突破性多模态图像编辑模型,支持文本和图像同时输入,能够智能理解图像上下文并执行精确编辑。其开发版是一个拥有 120 亿参数的开源扩散变压器模型,具有出色的上下文理解能力和角色一致性保持,即使经过多次迭代编辑,也能确保人物特征、构图布局等关键元素保持稳定。

虽然之前发布的 API 版本提供了最高的保真度和速度,但 FLUX.1 Kontext [Dev] 完全在本地机器上运行,为希望进行实验的开发者、研究人员和高级用户提供了无与伦比的灵活性。

版本说明

  • FLUX.1 Kontext [pro] - 商业版本,专注快速迭代编辑
  • FLUX.1 Kontext [max] - 实验版本,更强的提示遵循能力
  • FLUX.1 Kontext [dev] - 开源版本(本教程使用),12B参数,主要用于研究

二、相关安装

模型和工作流文末网盘获取

要使用最新的Kontext Dev,你先要将内核更新到最新版

目前有三种版本模型,分别是官方BF16版本和ComfyUI官方量化FP8版本。 FP8模型需要18G左右显存可体验,BF16则需要32G显存可体验。GGUF低显存可用,预估8G可尝试。

下载模型并放置ComfyUI/models/diffusion_models

GGUF模型如下

建议:

  • 4G显存,选Q2、Q3版本
  • 8G显存,选Q4、Q5版
  • 16显存,选Q8版

文件目录结构如下:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── flux1-dev-kontext_fp8_scaled.safetensors
│   ├── 📂 vae/
│   │   └── ae.safetensor
│   └── 📂 text_encoders/
│       ├── clip_l.safetensors
│       └── t5xxl_fp16.safetensors 或者 t5xxl_fp8_e4m3fn_scaled.safetensors

三、测评体验

工作流已上传以下平台:

  • Kontext Dev单图模式+LLM大模型提示词: https://www.runninghub.cn/post/1938492395124097025?inviteCode=kol01-rh024
  • Kontext Dev双图模式+LLM大模型提示词: https://www.runninghub.cn/post/1938657364100702210?inviteCode=kol01-rh024
  • Kontext Dev三图模式+LLM大模型提示词: https://www.runninghub.cn/post/1938673311859531778?inviteCode=kol01-rh024

让我们一起测试一下 **Kontext dev **版本的效果,看看和API Max的差距在哪里,所以素材图大部分都用上一次的,这样比较直观看效果,当然,也增加了很多新的素材测试,争取覆盖大部分使用场景。

下面我所有的测试用的模型都是BF16版本的,刚好在4090上可以跑,不过我T5XXL用的是fp8的,用fp16就卡主了。

单图系列

局部调整

将模特身上的白色裙子改成天蓝色,保持其他不变

修改背景

将背景更改为室内卧室,保持主体完全相同的位置和姿势,阳光从右侧照在女人脸上

风格转化

转换为吉卜力风格,同时保持 [构图 / 角色 / 其他方面] 不变。

老照片修复

修复这张照片,消除裂痕,增强清晰度,校正色彩,还原原始照片,达到超高清画质。

这个修复效果真不错,感觉和API调用没啥区别。

线稿上色

给这个卡通线稿角色上色

提取线稿

提取照片为线稿

风格转化

将图片女人的绘画风格转换成图2的绘画风格,保持构图不变,只是变风格

提取图案

Extract the pattern from the clothing and place it on a plain white background. Ensure the pattern is isolated with clean edges, vibrant colors, and high resolution. The background should be pure white with no distractions. sharp focus, high quality, ultra detailed

提取服装

提取模特身上的裙子,放在白色背景上

服装上身

把这个粉色裙子穿到亚洲20岁女性模特身上,简单背景

三视图测试

把图中玩偶的IP形象生成这个图像的侧面视角图片

这效果也是很酷,感觉不输API调用方式啊。

一致性测试

背景改成室内客厅,美女坐在沙发上看书
背景改成咖啡馆,美女在喝咖啡

效果还行,一致性方案通过

去水印

溢出图中的文字水印,其他保持不变

去水印真的有点东西,真好用。

消除物体

移除照片中的人物,保持背景不变


消除的也很完美,真牛逼啊

文字修改

将图片中的NIKE文字修改为DUDU

双图系列

双图融合

让左边的女人怀里抱着右侧这个毛绒玩偶

人物融入场景

穿着白色衣服的女人盘腿坐在右侧图像的室内环境中,保持人物和环境的构图不变

双人剧情

这里来一组两个人的互动,我们搞3组图,单人素材是官方群里别人的,我拿过来自己跑了3组效果,发现挺不错

感觉可以用这个搞短剧了都,真的强啊,关键现在是免费的模型,以前是每次6毛钱,我批量抽卡选最合适的,妥妥的王炸。

服装上身

这个需求应该是挺多的,我们也来试试看

将右侧模特的白色裙子替换成左侧的粉色裙子,严格复制粉色裙子的细节,保持人物姿势、发型、表情以及背景不变

我测试了2组,发现服装迁移是可以,但是有时候人物的姿势会改变,老喜欢把手放下来,除非你提示词里面就说明了手的姿势,有时候面部也会发生一些小变化。

两人拥抱

图1女人和图2女人拥抱在一起,背景在公园,保持两人样貌和服装的一致性

效果还不错吧

三图融合

三图融合也可以在二图融合的基础上做一点调整,我今天还发现了个好玩的现象,就是融合的图大小比例很重要,AI会参考你每张图的大小来影响最终的出图。

小女孩坐在沙发上,地上趴着一只小猫,背景保持和图3沙发的环境一致

方案一里面自动拼接的这种图,可以看到环境是最大的,人和猫相对较小

最终出来的融合效果还行,但是你看,猫是不是比人大,因为拼接的时候就是比人大导致的。

方案二这边,我都接了个按边缩放的,用来控制缩放的大小,给你们看两张结果图对比,你就了解原理了。

下图左边是默认都不缩放,三张图直接串联进来的,右边是把人和猫缩放一半后的结果

效果是不是非常明显,左侧人和猫都很大,右边就是正常的环境的人和比例。

下图是核心工作流说明。

注意事项

  • 大家根据自己显存选择模型,一般fp8的就可以玩了,如果显存实在太低,就选择GGUF版本的吧。

  • 大部分场景都可以完成,不过我今天跑建筑线稿参考风格生成真实建筑的话成功率很低,这里就没放案例图了,服装上身也是,生成的人脸部经常会变化,手部姿势不大协调,成功率稍微低一些。

  • 多图参考要注意物体真实的大小,就像上面的女人和小猫,如果拼图的时候猫比人大,那最终生成的一定是猫比较大,这就不合理了。

整体上,开源的Kontext很能打,传统的很多工作流可以被替代了,真的香,我太爱了。

四、在线使用

云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

RH平台

推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。

https://www.runninghub.cn/?inviteCode=kol01-rh024

主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-center/1865434314359058434?inviteCode=kol01-rh024

五、总结

以上就是这次重大的Kontext dev开源版本的测评了,未来估计还是会在这个版本上继续深挖各种使用场景,开源时代真的是YYDS,快来体验吧。

技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/37a09b9f2c10

​我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值