萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

近日，国内外社交媒体上传了一组神秘的“虚如媳妇”照片。

怎么回事？

试着用手机扫一扫，就能找到洞天——

原来这些看起来很自然的照片都藏起来了二维码的图像。它们不仅会被手机相机识别，跳转网站也是有效的：

从推文到Reddit，每隔几次就能刷出这张二维码照片，下面就有一声惊叹的“居然扫出来”。

最重要的是，这些照片不是手工制作的，而是用来制作的Stable Diffusion产生的，在背后再次加持了奇妙的祝福ControlNet法术。

形成的二维码图像风格不仅仅是二维虚拟人像。让我们看看~

除上述二次元插入外（lao）画（po）除了风格，作者还展示了其他8种二维码图像的形成效果。

这是立体风格二维码图像看起来像一张真实的城市照片：

有网友感叹，在物理世界里建一个真正的二维码城市是可以的:

甚至它只能在特定的地址、日子、时间被扫出来，有寻宝游戏的味道。

这种立体作品不仅可以控制细节(如更多的蔓草植被)，还可以改变风格，形成更具机械感的科幻二维码图像:

3D城市不够，也有2D城市抽象风格作品，所有的数据都藏在小屋里：

此外，二维码还可以融入中国传统的图案风格或适当放置在陶器或壁画等装饰品中：

更具美学的水墨风格也可以hold住，无缝连接作品字迹：

亦或是这类水彩风格的画作：

日式浮世绘风格也没问题：

还能嵌进PCB风格图象里，线路板售后请立即扫码（doge）：

显然，除了可控的二维码图像外，模型甚至可以很好地操纵插图风格。

它背后是用什么技术实现的？

它背后是用什么技术实现的？想要实现这种图像风格 Stable必须控制二维码的可控效果 集成Diffusion集成LoRA和ControlNet

一起完成。

其中，Lora负责操纵整体图像风格，而Controlnet负责确保二维码“放入”图像。LoRA

全名Low-Rank Adaptation of Large Language Models，Stable可以很好地完成少样版学习 形成Diffusion的图像风格，进行更准确的操作。换句话说，至少只需要几十张

相同风格的照片可以用于Stable的LoRA Diffusion产生的效果。目前，作者们已经在中国传统风格和浮世绘风格等更具特色的图像中Civitai和Hugging Face

相应的LoRA模型在平台上开源。

可直接在Civitai上下载浮世绘风格LoRA模型：

练习这样一个浮世绘风格的LoRA模型并不一定有很多照片，就像这个模型一样46幅

葛饰北斋《富岳三十六景(追加十景)》浮世画。

比如形成不同中国传统图案的照片，风格变化更加多样化，也只需要近百张

照片练习：

LoRA模型可以画出不同的图案：

QR Code ControlNet

是作者新锻炼的二维码图像生成特殊的ControlNet模型，目前还在逐步完善。

作者尝试了不同的Stable Diffusion Checkpoint、LoRA和QR Code ControlNet的组合产生了上述二维码图像的效果。值得一提的是，融合近期PS的新产品Generative Fill

这种二维码可以更好地嵌入一大块AI形成图像:

一些网民开玩笑说，即使是未来的广告也会变得更好。

共有四位作者制作了这个二维码生成项目，分别来自中国传媒大学和北京航天大学。其中，倪豪和陈柏宇是中国传媒大学大四本科生，王照涵是中国传媒大学一年级研究生，陈智勇

是北京航空航天大学大四本科生。

在人工智能二维码图像生成项目之前，倪浩和陈志勇已经制作了参数二维码生成器，但通常使用图形技术。

在人工智能二维码图像生成项目之前，倪浩和陈志勇已经制作了参数二维码生成器，但通常使用图形技术。

据倪浩介绍，他们之前的研究方向主要体现在图形学和互动艺术上。随着AIGC在这段时间的普及，团队也对这项技术感兴趣。

在此期间，他们开发了许多不同类型的LoRA模型，以及可控光影的Contronet等。目前，模型已经放在Civitai上。

该团队表示，二维码图像生成模型仍在不断优化，如果有更多的进度升级，它将同步到该网站。能够码住希望一波~
团队开发的AI模型：

https://aigc.ioclab.com/index.html
参考链接：
[1]显示大量二维码效果：https://mp.weixin.qq.com/s/i4WR5ULH1ZYL8Watf3EPw
[2]https://www.reddit.com/r/StableDiffusion/comments/141hg9x/controlnet_for_qr_code/

[3]https://twitter.com/dahbiahmed/status/1665778398084431872

— 完 —

量子位 QbitAI · 头条号签订