Нейросеть Runway – инструкция по использованию на русском

Нейросети буквально захватили интернет последнее время, причем генеративный ИИ является одной из движущих сил. Если еще год назад казалось удивительным как сервисы способы создавать обычные изображения, то сегодня мы наблюдаем, как появляются площадки для полноценной генерации видео по описанию или на базе фото.

Нейросеть Runway – одна из таких платформ со своим флагманским генератором видео Gen-2 на базе текстовых запросов и изображений. В этом материале поговорим о Runway AI немного подробнее и на конкретном примере разберем принцип использования нескольких крутых функций, которые совершенно бесплатно может оценить каждый из вас.

На данный момент доступ к нейросети есть как в виде отдельного сайта, так можно и скачать полноценное мобильное приложение для iOS устройств. Использовать сервис на Андроид можно онлайн через сайт.

Как работает Runway AI

Сервис ранее помогал с разработкой Stable Diffusion, а на сегодняшний день стартап имеет поддержку со стороны Google. Изначально разработчики выпустили свою первую модель генеративного ИИ видео-в-видео Gen-1 через веб-сайт и мобильное приложение. За этим последовала модель генеративного ИИ текста/изображения в видео под названием Gen-2.

Эти два инструмента в совокупности называют Runway AI, хотя само приложение называется RunwayML. Сервис предоставляет доступ к целому набору различных опций, их количество действительно впечатляет. Однако шумиху навели всего несколько инструментов, которые действительно впечатляют. Мы о них еще поговорим подробнее.

В случае с Gen-1, Runway может принимать в качестве исходника видео, а Gen-2 может работать с изображениями или даже текстом. На выходе мы получаем готовый ролик. По факту, площадка позволяет сгенерировать видео из воздуха в течение нескольких минут. Нужно лишь дать описание будущему ролику или же предоставить готовые изображения, которые будут «оживлены».

Сложно назвать работу Runway AI идеальной, все же технология еще дорабатывается. В видео часто содержатся странноватые и неестественные элементы. Тем не менее, результат впечатляет. Перейдем к тестированию площадки.

Как пользоваться нейросетью Runway

В целом, всегда можно просто открыть главную страницу сайта и пролистать ее немного вниз, там, в блоке – «AI Magic Tools» есть описание всех самых интересных инструментов и пример их работы для наглядности.

Давайте на конкретном примере рассмотрим процедуру «оживления» обычной фотографии и превратим ее в небольшое видео. Все же именно благодаря этой функции нейросеть стала настолько популярной и все начали о ней говорить.

Давайте для примера возьмем картинку единорога, которого мы генерировали в процессе подготовки статьи – Как составлять идеальные промпты для Stable Diffusion и Midjourney. Будем оживлять именно его.

Переходим на сайт Runway AI, входим в учетную запись. Для удобства можно логиниться просто через почту Google. И выбираем в боковом меню в разделе «Videos» пункт «Generate videos».

Здесь можно выбрать между Gen-1 и Gen-2, так как мы будем работать с изображением, выбираем «Text/Image to Video».

Перед нами откроется форма, в которой сверху будут 3 вкладки:

Собственно, каждая из них позволяет генерировать ролики разными методами. Используя текстовый запрос, на базе изображения и видоизменяя ваше изображение на основе заданного описания.

Давайте загрузим нашего единорога на вкладке «Image» и без каких-либо дополнительных описаний просто жмем кнопку «Generate 4s». Нейросеть сама оживит картинку, и получаем такой результат:

В целом, неплохо. Да, ролики пока получаются короткими, но можно дополнительно накидывать еще генераций и тем самым увеличивать продолжительность. Однако лучше всего на данном этапе развития технологии получаются именно короткие фрагменты.

Использование инструмента Motion Brush в Runway

Не так давно нейросеть внедрила еще одну крутую фишку – это инструмент Motion Brush, который позволяет самостоятельно задавать те области, которые мы хотим анимировать на изображении. Находится он в том же окне, над формой для загрузки изображения.

Давайте воспользуемся инструментом и сделаем так, чтобы наш единорог двигал головой на видео. Достаточно просто зарисовать кистью те элементы на изображении или целые области, которые мы хотим анимировать как-то. Воздействовать на них можно ползунками ниже: смещать по горизонтали, вертикали или приближать.

Сохраняем изменения в Motion Brush и жмем «Generate 4s». Получаем по итогу такой вот результат:

Результат достаточно интересный, в целом то чего хотели добиться, мы получили. Да, генерация не идеальная пока. Какие-то мелкие элементы на готовом ролике могут немного искажаться, как рог нашего единорога в данном случае. Однако можно предположить, что уже в ближайшем будущем нейросети научаться анимировать изображения еще лучше.

Какие еще инструменты предлагает Runway AI

Помимо тех функций о которых мы уже поговорили, нейросеть также позволяет выполнять и целый перечень других манипуляций. Список довольно внушительный, вот лишь некоторые возможности:

Ассортимент возможностей огромен. Внутри Runway вообще есть свой полноценный редактор для монтажа видео. Он находится на вкладке – «Video Editor Projects». В бесплатной версии можно создавать не более 3 проектов.

Какие аналоги Runway можно рассмотреть

Альтернативы существуют, правда, не столь масштабные. Дело в том, что сервис Runway AI – это целый сборник разных инструментов, то есть все сразу в одном месте. Однако для каких-то отдельных задач можно подобрать аналоги.

Нужно понимать, что после того как начался столь внушительный бум в сфере генерации изображений, нужно чем-то удивлять людей дальше. Поэтому инструменты для генерации видео будут совершенствоваться активными темпами в ближайшее время и появится еще больше нейросетей, которые должны удивить каждого.