Нейросеть Runway – инструкция по использованию на русском

На данный момент доступ к нейросети есть как в виде отдельного сайта, так можно и скачать полноценное мобильное приложение для iOS устройств. Использовать сервис на Андроид можно онлайн через сайт.

Как работает Runway AI

Эти два инструмента в совокупности называют Runway AI, хотя само приложение называется RunwayML. Сервис предоставляет доступ к целому набору различных опций, их количество действительно впечатляет. Однако шумиху навели всего несколько инструментов, которые действительно впечатляют. Мы о них еще поговорим подробнее.

Runway AI – это генеративная модель искусственного интеллекта. Как и другие нейросети, такие как Midjourney и Stable Diffusion. Правда в данном случае есть некоторое важное отличие.

В случае с Gen-1, Runway может принимать в качестве исходника видео, а Gen-2 может работать с изображениями или даже текстом. На выходе мы получаем готовый ролик. По факту, площадка позволяет сгенерировать видео из воздуха в течение нескольких минут. Нужно лишь дать описание будущему ролику или же предоставить готовые изображения, которые будут «оживлены».

Сложно назвать работу Runway AI идеальной, все же технология еще дорабатывается. В видео часто содержатся странноватые и неестественные элементы. Тем не менее, результат впечатляет. Перейдем к тестированию площадки.

Как пользоваться нейросетью Runway

В целом, всегда можно просто открыть главную страницу сайта и пролистать ее немного вниз, там, в блоке – «AI Magic Tools» есть описание всех самых интересных инструментов и пример их работы для наглядности.

Давайте на конкретном примере рассмотрим процедуру «оживления» обычной фотографии и превратим ее в небольшое видео. Все же именно благодаря этой функции нейросеть стала настолько популярной и все начали о ней говорить.

Давайте для примера возьмем картинку единорога, которого мы генерировали в процессе подготовки статьи – Как составлять идеальные промпты для Stable Diffusion и Midjourney. Будем оживлять именно его.

Переходим на сайт Runway AI, входим в учетную запись. Для удобства можно логиниться просто через почту Google. И выбираем в боковом меню в разделе «Videos» пункт «Generate videos».

Здесь можно выбрать между Gen-1 и Gen-2, так как мы будем работать с изображением, выбираем «Text/Image to Video».

Перед нами откроется форма, в которой сверху будут 3 вкладки:

• Text
• Image
• Image + Description

Собственно, каждая из них позволяет генерировать ролики разными методами. Используя текстовый запрос, на базе изображения и видоизменяя ваше изображение на основе заданного описания.

Давайте загрузим нашего единорога на вкладке «Image» и без каких-либо дополнительных описаний просто жмем кнопку «Generate 4s». Нейросеть сама оживит картинку, и получаем такой результат:

В целом, неплохо. Да, ролики пока получаются короткими, но можно дополнительно накидывать еще генераций и тем самым увеличивать продолжительность. Однако лучше всего на данном этапе развития технологии получаются именно короткие фрагменты.

Использование инструмента Motion Brush в Runway

Не так давно нейросеть внедрила еще одну крутую фишку – это инструмент Motion Brush, который позволяет самостоятельно задавать те области, которые мы хотим анимировать на изображении. Находится он в том же окне, над формой для загрузки изображения.

Давайте воспользуемся инструментом и сделаем так, чтобы наш единорог двигал головой на видео. Достаточно просто зарисовать кистью те элементы на изображении или целые области, которые мы хотим анимировать как-то. Воздействовать на них можно ползунками ниже: смещать по горизонтали, вертикали или приближать.

Сохраняем изменения в Motion Brush и жмем «Generate 4s». Получаем по итогу такой вот результат:

Результат достаточно интересный, в целом то чего хотели добиться, мы получили. Да, генерация не идеальная пока. Какие-то мелкие элементы на готовом ролике могут немного искажаться, как рог нашего единорога в данном случае. Однако можно предположить, что уже в ближайшем будущем нейросети научаться анимировать изображения еще лучше.

Какие еще инструменты предлагает Runway AI

Помимо тех функций о которых мы уже поговорили, нейросеть также позволяет выполнять и целый перечень других манипуляций. Список довольно внушительный, вот лишь некоторые возможности:

• Удаление фона на видео
• Генерация изображений по описанию
• Изменение готовых изображений
• Возможность обучать собственные модели для генерации внутри сервиса
• Замена и удаление объектов на фото
• Увеличение размеров и качества изображения
• Целая группа функций для работы с аудио и видео
• Создание текстур для 3D объектов

Какие аналоги Runway можно рассмотреть

Альтернативы существуют, правда, не столь масштабные. Дело в том, что сервис Runway AI – это целый сборник разных инструментов, то есть все сразу в одном месте. Однако для каких-то отдельных задач можно подобрать аналоги.

• Kapwing – создает видео из текста и даже целых документов
• Synthesia – подходит для создания видео в формате презентаций
• Pictory – отлично подойдет контент-маркетологам
• Picsart – еще одна нейросеть, которая может генерировать видео

Нужно понимать, что после того как начался столь внушительный бум в сфере генерации изображений, нужно чем-то удивлять людей дальше. Поэтому инструменты для генерации видео будут совершенствоваться активными темпами в ближайшее время и появится еще больше нейросетей, которые должны удивить каждого.