Нейросеть Runway – инструкция по использованию на русском

Нейросети буквально захватили интернет последнее время, причем генеративный ИИ является одной из движущих сил. Если еще год назад казалось удивительным как сервисы способы создавать обычные изображения, то сегодня мы наблюдаем, как появляются площадки для полноценной генерации видео по описанию или на базе фото.

Нейросеть Runway – одна из таких платформ со своим флагманским генератором видео Gen-2 на базе текстовых запросов и изображений. В этом материале поговорим о Runway AI немного подробнее и на конкретном примере разберем принцип использования нескольких крутых функций, которые совершенно бесплатно может оценить каждый из вас.

На данный момент доступ к нейросети есть как в виде отдельного сайта, так можно и скачать полноценное мобильное приложение для iOS устройств. Использовать сервис на Андроид можно онлайн через сайт.

Как работает Runway AI

Сервис ранее помогал с разработкой Stable Diffusion, а на сегодняшний день стартап имеет поддержку со стороны Google. Изначально разработчики выпустили свою первую модель генеративного ИИ видео-в-видео Gen-1 через веб-сайт и мобильное приложение. За этим последовала модель генеративного ИИ текста/изображения в видео под названием Gen-2.

Условия использования
Есть бесплатный тариф. После регистрации вы получите 125 кредитов, которых хватит на генерацию 8 секунд в Gen-1, 25 секунд в Gen-2 и создание 25 изображений. Платный тариф начинается с $12 в месяц.

Эти два инструмента в совокупности называют Runway AI, хотя само приложение называется RunwayML. Сервис предоставляет доступ к целому набору различных опций, их количество действительно впечатляет. Однако шумиху навели всего несколько инструментов, которые действительно впечатляют. Мы о них еще поговорим подробнее.

Runway AI – это генеративная модель искусственного интеллекта. Как и другие нейросети, такие как Midjourney и Stable Diffusion. Правда в данном случае есть некоторое важное отличие.

В случае с Gen-1, Runway может принимать в качестве исходника видео, а Gen-2 может работать с изображениями или даже текстом. На выходе мы получаем готовый ролик. По факту, площадка позволяет сгенерировать видео из воздуха в течение нескольких минут. Нужно лишь дать описание будущему ролику или же предоставить готовые изображения, которые будут «оживлены».

Ссылка на нейросеть

Сложно назвать работу Runway AI идеальной, все же технология еще дорабатывается. В видео часто содержатся странноватые и неестественные элементы. Тем не менее, результат впечатляет. Перейдем к тестированию площадки.

Как пользоваться нейросетью Runway

В целом, всегда можно просто открыть главную страницу сайта и пролистать ее немного вниз, там, в блоке – «AI Magic Tools» есть описание всех самых интересных инструментов и пример их работы для наглядности.

Возможности Runway

Давайте на конкретном примере рассмотрим процедуру «оживления» обычной фотографии и превратим ее в небольшое видео. Все же именно благодаря этой функции нейросеть стала настолько популярной и все начали о ней говорить.

Интересное:  Как использовать нейросеть Kaiber AI бесплатно и чем можно ее заменить

Давайте для примера возьмем картинку единорога, которого мы генерировали в процессе подготовки статьи – Как составлять идеальные промпты для Stable Diffusion и Midjourney. Будем оживлять именно его.

Единорог

Переходим на сайт Runway AI, входим в учетную запись. Для удобства можно логиниться просто через почту Google. И выбираем в боковом меню в разделе «Videos» пункт «Generate videos».

Инструкция по работе с Runway

Здесь можно выбрать между Gen-1 и Gen-2, так как мы будем работать с изображением, выбираем «Text/Image to Video».

Перед нами откроется форма, в которой сверху будут 3 вкладки:

  • Text
  • Image
  • Image + Description

Собственно, каждая из них позволяет генерировать ролики разными методами. Используя текстовый запрос, на базе изображения и видоизменяя ваше изображение на основе заданного описания.

Инструкция по работе с Runway

Давайте загрузим нашего единорога на вкладке «Image» и без каких-либо дополнительных описаний просто жмем кнопку «Generate 4s». Нейросеть сама оживит картинку, и получаем такой результат:

В целом, неплохо. Да, ролики пока получаются короткими, но можно дополнительно накидывать еще генераций и тем самым увеличивать продолжительность. Однако лучше всего на данном этапе развития технологии получаются именно короткие фрагменты.

Использование инструмента Motion Brush в Runway

Не так давно нейросеть внедрила еще одну крутую фишку – это инструмент Motion Brush, который позволяет самостоятельно задавать те области, которые мы хотим анимировать на изображении. Находится он в том же окне, над формой для загрузки изображения.

Инструкция по работе с Runway

Давайте воспользуемся инструментом и сделаем так, чтобы наш единорог двигал головой на видео. Достаточно просто зарисовать кистью те элементы на изображении или целые области, которые мы хотим анимировать как-то. Воздействовать на них можно ползунками ниже: смещать по горизонтали, вертикали или приближать.

Инструкция по работе с Runway

Сохраняем изменения в Motion Brush и жмем «Generate 4s». Получаем по итогу такой вот результат:

Результат достаточно интересный, в целом то чего хотели добиться, мы получили. Да, генерация не идеальная пока. Какие-то мелкие элементы на готовом ролике могут немного искажаться, как рог нашего единорога в данном случае. Однако можно предположить, что уже в ближайшем будущем нейросети научаться анимировать изображения еще лучше.

Какие еще инструменты предлагает Runway AI

Помимо тех функций о которых мы уже поговорили, нейросеть также позволяет выполнять и целый перечень других манипуляций. Список довольно внушительный, вот лишь некоторые возможности:

  • Удаление фона на видео
  • Генерация изображений по описанию
  • Изменение готовых изображений
  • Возможность обучать собственные модели для генерации внутри сервиса
  • Замена и удаление объектов на фото
  • Увеличение размеров и качества изображения
  • Целая группа функций для работы с аудио и видео
  • Создание текстур для 3D объектов

Ассортимент возможностей огромен. Внутри Runway вообще есть свой полноценный редактор для монтажа видео. Он находится на вкладке – «Video Editor Projects». В бесплатной версии можно создавать не более 3 проектов.

Какие аналоги Runway можно рассмотреть

Альтернативы существуют, правда, не столь масштабные. Дело в том, что сервис Runway AI – это целый сборник разных инструментов, то есть все сразу в одном месте. Однако для каких-то отдельных задач можно подобрать аналоги.

  • Kapwing – создает видео из текста и даже целых документов
  • Synthesia – подходит для создания видео в формате презентаций
  • Pictory – отлично подойдет контент-маркетологам
  • Picsart – еще одна нейросеть, которая может генерировать видео

Нужно понимать, что после того как начался столь внушительный бум в сфере генерации изображений, нужно чем-то удивлять людей дальше. Поэтому инструменты для генерации видео будут совершенствоваться активными темпами в ближайшее время и появится еще больше нейросетей, которые должны удивить каждого.

Поделиться ссылкой на статью
Екатерина Климович
Екатерина Климович

Привет. Я наполняю этот сайт контентом, готовлю для вас актуальную информацию, активно слежу за тем как развивается сфера нейросетей и искусственного интеллекта в мире.