Благодаря нейросети Stable Diffusion превратить фотографию в рисунок стало еще проще. В этом уроке я покажу вам, как придать фотографии карикатурный вид с помощью img2img, используя пользовательскую модель.
Выбор стиля преобразования фото в рисунок
В данном уроке мы будем использовать GUI AUTOMATIC1111.
Для демонстрации мы будем использовать следующие примеры моделей в мультяшном стиле. Эта техника будет работать для любых пользовательских моделей с уникальными стилями.
Anything v3 – модель в стиле аниме
Anything V3 – это специализированная модель, обученная создавать высококачественные изображения в стиле аниме. В текстовой подсказке можно использовать теги danbooru (например 1girl, white hair).
Это полезно для создания образов известных людей в стиле аниме, которые затем можно органично объединить с элементами иллюстраций.
Один недостаток (по крайней мере, для меня) заключается в том, что девушки получаются с непропорциональными формами тела. Я предпочитаю сглаживать их с помощью модели F222.
Inkpunk Diffusion – Японский стиль иллюстрации
Inkpunk Diffusion – модель, прошедшая обучение в Dreambooth, с очень своеобразным стилем рисования иллюстраций.
(Используйте ключевое слово: nvinkpunk)
Mo-Di Diffusion – Современный стиль Диснея
Данная модель подойдет вам, если вы хотите создавать рисунки в стиле Pixar.
(Используйте ключевые слова: modern disney style)
Создание анимационной фотографии – пошаговая инструкция
Я сделаю анимационный рисунок из картинки, которую создал ранее тоже с помощью нейросети.
В качестве модели для создания мультипликационного рисунка мы будем использовать Inkpunk Diffusion.
В GUI AUTOMATIC1111 выберите модель Inpunk Diffusion в выпадающем меню Stable Diffusion checkpoint.
Переключитесь на вкладку img2img, нажав кнопку img2img. Загрузите фотографию, которую вы хотите мультиплицировать, на холст в подвкладке img2img.
Вставьте промт, описывающий вашу фотографию. Также необходимо указать специальные ключевые слова, которые активируют стиль, если таковые имеются. Для Inkpunk Diffusion это nvinkpunk. Таким образом, мой промт выглядит так:
Негативный промт не обязателен. По привычке (или просто из принципа) я использовал пару:
Установите ширину и высоту на 512 или установите другое значение, чтобы точно соответствовать соотношению сторон фотографии. Поскольку моя фотография – портрет, я установил ширину 512, а высоту – 704. Выберите Crop and resize, чтобы убрать ту часть фотографии, которая не поместилась.
Установите шаг обработки (sampling steps) на 30, чтобы получить изображение хорошего качества.
Установите количество фотографий в партии (batch size) на 4, чтобы у вас было несколько вариантов на выбор. (Выборка – важное умение в работе со Stable Diffusion).
Настройка, с которой вам нужно будет поиграть, – это сила изменения (denoising strength) . Тщательно отрегулируйте этот параметр, чтобы получить желаемый уровень искажения фото. При значении 0 ничего не изменится, а при значении 1 ваше исходное изображение будет полностью изменено. Для начала хорошо подойдет значение около 0,4.
Нажмите кнопку Generate для создания изображений.
При использовании различных значений силы изменения вы увидите нечто подобное тому, что показано ниже. Подберите нужное значение, чтобы добиться желаемого эффекта!
Несколько шагов в img2img
Один из приемов, который я часто использую, заключается в многократном повторении img2img для проработки мелких деталей.
Помните, что низкое значение img2img дает небольшое изменение! Вы можете сделать шаг с большим значением силы изменения, а затем серию малых значений. Ниже приведен пример:
Или несколько меньших значений:
Используя несколько циклов в img2img, можно стилизовать отдельные участки, не меняя общий вид картинки.
Итоговые результаты
Здесь представлены изображения, созданные тремя пользовательскими моделями.
Разумеется, тут только по одному примеру от каждой модели. Вы можете регулировать сами силу, внося изменения по своему вкусу!
А что дальше?
Если вы захотите использовать мультяшный образ для других своих творческих работ, вы можете удалить фон с помощью одного из сайтов по удалению AI-фона, например remove.bg.
Возможно, вы сделаете целый комикс, попросив своих друзей разыграть сцены и изобразить их в мультипликационном виде.
Эту технику можно сочетать с инпаинтингом, если вы хотите изменить только часть изображения. Или стилизовать разные части изображения с помощью разных моделей.
Возможности нейросетей безграничны!
