Stable Diffusion健康审查机制

一、简介

目前sd官方已经对健康审查代码删除了,为了在某些场合下炼丹过程中不生成奇奇怪怪的东西,就需要重新启用健康审查。

我们软件版本是使用了B站秋叶的整合包,目前3台机器测试均通过。

ps:测试os均为Windows,linux版未经测试

二、步骤

 历史代码本来存在safety_checker机制,但在最新源码已无法查询到,相关历史源码可从各大论坛获取,下图贴上部分实现代码

# safety_model_id = "CompVis/stable-diffusion-safety-checker"
# safety_feature_extractor = AutoFeatureExtractor.from_pretrained(safety_model_id)
# safety_checker = StableDiffusionSafetyChecker.from_pretrained(safety_model_id)

# def check_safety(x_image):
#     safety_checker_input = safety_feature_extractor(numpy_to_pil(x_image), return_tensors="pt")
#     x_checked_image, has_nsfw_concept = safety_checker(images=x_image, clip_input=safety_checker_input.pixel_values)
#     assert x_checked_image.shape[0] == len(has_nsfw_concept)
#     for i in range(len(has_nsfw_concept)):
#         if has_nsfw_concept[i]:
#             x_checked_image[i] = load_replacement(x_checked_image[i])
#     return x_checked_image, has_nsfw_concept

健康审核功能复用是作为一个拓展插件加入到sd中,需要用到两个文件:1、审核插件;2、审核模型

其中审核插件可以在github获取,保存到sd的extensions路径下https://github.com/AUTOMATIC1111/stable-diffusion-webui-nsfw-censorhttps://github.com/AUTOMATIC1111/stable-diffusion-webui-nsfw-censor

审核模型可以在huggingface官网获取,新建目录并保存。目录路径为:sd根目录/CompVis/stable-diffusion-safety-checkerhttps://huggingface.co/CompVis/stable-diffusion-v1-4/tree/main/safety_checkerhttps://huggingface.co/CompVis/stable-diffusion-v1-4/tree/main/safety_checker三、实现效果

当检测到prompt或者图片含有不健康的内容时,输出的图片将会被打上黑码具体效果如下:

 

 但在生成的时候控制台还是会出现模糊的不健康预览,只是到最后图片生成的时候调用了safety_check把整个图片涂黑,这个需要注意文章来源地址https://uudwc.com/A/zy2O

原文地址:https://blog.csdn.net/wu499920535/article/details/130831953

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

h
上一篇 2023年06月17日 01:25
辅助编程工具Github Copilot、CodeWhisperer和Cursor(程序猿必看)【收藏】-让编程变得简单轻松
下一篇 2023年06月17日 01:25