NVIDIA и пейзажи

NVIDIA открыла код системы машинного обучения, синтезирующей пейзажи по наброскам.

Компания NVIDIA опубликовала исходные тексты системы машинного обучения SPADE (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом натренированные модели. Система была продемонстрирована в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки открыты под несвободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.


Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.


Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.


Для достижения реалистичности применяются две конкурирующие друг с другом нейронных сети: генератор и дискриминатор (Discriminator). Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор начинает компоновать всё более качественные образцы, до тех пор пока дискриминатор не перестанет отличать их от настоящих.



Источник: http://www.opennet.ru/opennews/art.shtml?num=50507

Мне понравился комментарий под той новостью на сайте-первоисточнике: Такими темпами скоро появятся "желтые" заголовки в стиле - "шимпонзе создала картину превосходящую по технике Ван Гога!" и "мой кот повторяет шедевры Пикассо!"

А вот просто, моей рукой и кистью)))

У меня два вопроса к "художнику". Откуда на последующих иллюстрациях автор выдумал солнце, и почему три ядерных гриба превратились в деревья?
Палка, палка , огуречик...
Мракобесие какое-то. Средневековье.

Так нейронная сеть строит изображение.) А вообще считается, что за этим будущее. Скоро может настать время, когда отличить обычное изображение и созданное компьютером будет почти невозможно. Реализм во все поля.)

А я просто привет тебе зашла сказать)))

Где? )))

Прикольно, но я лучше фотки с натуры полистаю

https://nvlabs.github.io/SPADE/ И еще пара ссылок есть в тексте новости в первоисточнике.

https://www.opennet.ru/opennews/art.shtml?num=50127 А вот тут есть новость про генератор уже не пейзажей, а фото людей.) Меня больше всего из той новости вот это поразило: Система автоматически учитывает аспекты размещения лиц и делает результат неотличим от настоящих фотографий (большинство опрошенных не смогли отличить оригинальные фотографии от сгенерированных).
Похоже, что скоро нашему админу придется снова гдепапу модернизировать и вводить в строй собственную нейронную сеть, которая будет проверять изображения по критерию фейк-не фейк.)

Спасибо, интересно.

Здорово!
А несколько дней назад, показали, что сердце напечатали на 3d принтере.

Вот научатся мозги печатать, тогда заживем! )))

Саму программу не нашел, только примеры использования.

Заинтересовали возможности восстановления фотографий. )

Вчера сообщали, что мозг оживили. Оказывается после клинической смерти можно мозг оживить.

А ее и не будет в готовом виде. Если они и выложили ее в открытый доступ, то очень вероятно, что это будут только исходные коды. Которые надо собирать. Но энтузиасты часто сами собирают и выкладывают в местах типа гитхаба или гитлаба. Тут зависимость проста - чем свободнее лицензия, тем выше вероятность, что соберут готовое и выложат.)

Можно. Если прошло не больше 5 минут и в клетках не разрушились молекулярные связи и не накопилось критическое колличество отходов. Ну и остались кислород и пит. вещества, что с кровью поступают. После 5 минут все. Ну и не факт, что после такого человек прежним останется.)

Смотря что и как восстанавливать.) Была новость о нейронной сети, которая по фрагментам изображений восстанавливала всю картинку целиком.)

Нет. Через несколько часов оживили.

Так понимаю, исходники собрали.