Generative AI tool로 동영상 만들어보다 ft. Pika & Runway

연말연시 휴가는 아직도 진행 중이고, 이럴 때는 무조건 늦게 자고 늦게 일어나야 제 맛이고!

그리하여 목적 없이 이것저것 밤샘 중에 유튜브 알고리즘이 물어다 주는 것들 중 왠지 후딱 될 것 같은 것만 츄라이 해 본다.

오늘은 요걸로.

 

1. ChatGPT로 이미지 생성 
2. AI 동영상 생성 툴로 이미지를 동영상으로 변환

 

그리고 미리 서머리

1. 신기하다! 움직인다!!!
2. (유튭을 통해 알고는 있었지만) 그냥 대충 막 던지면 이상한 게 만들어진다. 그림이 요상해진다! (그치만 잼있다 ㅎㅎ)
3. 이미지 생성은 나날이 뭔가 괜찮아지는 것 같은 느낌적인 느낌?
4. 동영상 생성도 프롬프트만 잘 활용하면 이미 꽤 괜찮을 것 같다

 

 

(이미지도 동영상도 프롬프트는 고민없이 그냥 단순하게 지시했음) 

먼저, GPT에게 19세기 영국 밤거리 이미지를 계절별로 생성해 달라고 해보았더니, 오호라, DALL-E가 그럴싸하게 만들어 준다.

0123

19c 영국 밤거리 - 봄 여름 가을 겨울

 

 

내친김에 한국 19세기 밤거리도 계절별로 만들어 달라고 해 보았다. 

0123

19c 한국(조선) 밤 거리 - 봄 여름 가을 겨울

 

 

뭐지? 빌딩이 보이는데? ..그리고 뭔가.. 이국적이다.  한옥은 단층인데 약간 중국풍이지? 단층으로 바꿔달라고 부탁해 본다.

0123

19c 한국(조선) 밤 거리 - 봄 여름 가을 겨울

 

호.., 뭔가 고거 하나 부탁에 그림이 좀 더 그럴싸해졌다. (허나 빌딩은 안 없어짐. 조선이 아니라 사우스 코리아 19세기로 달라고 해서 그런가..?)

 

 

그림은 준비되었고.

원래 계획은 좀 더 짜임새 있게 대본도 만들고 이미지 연결해서 동영상 생성하고 그 동영상도 연결해서 쇼츠도 만들고 할 생각이었는데 급 졸려서 부랴부랴 영상 생성만 도전해 봄.

 

첫 번째 툴은 Pika.art (삐까삐까~~) https://pika.art/

Pika

그리고 두 번째 툴은 RunwayML https://runwayml.com/

Runway - Advancing creativity with artificial intelligence.

 

 

먼저 Pika에서 한국의 가을 밤거리 이미지를 넣고, 모든 사람들이 어딘가로 걸어가고 있다는 프롬프트를 넣어 보았다. 딱히 방향이나 다른 것들에 대한 설정은 언급 X

 

by Pika.art

 

움직임을 세세하게 지시하지 않아도 인물이 향하고 있는 방향으로 움직이고 카메라 워크도 있고 그럴싸하긴 한데 왼쪽 편에 양복 입은 사람들이 막 세포처럼 생겨난다.... 매트릭스? 시공간 초월한 듯

 

담은 같은 이미지를 Runway에서 돌려봤다. 텍스트 프롬프트 없이 모션블러시로 사람들 마킹하고 방향을 설정해 줬다. 마킹을 여러 개로 나눠서 따로따로 설정이 가능한지는 모르겠고 일단 하나의 설정으로 뭉텅이로 마킹.

 

by RunwayML

 

움직인다. 근데 일제히 왼쪽으로 움직이라고 마킹해서 그런지 자연스럽지는 않다. 걸음걸이가 없어서 영락없는 고스트 워킹 ㅎㅎㅎ 걸음걸이는 삐카가 더 퀄리티가 좋은디?

 

잼나서 다른 이미지로도 츄라이!  by Pika

by Pika.Art

 

영국 겨울 이미지에 사람들이 집으로 가고 있다고 해 봄. 램프가 따뜻하게 반짝거리고 뭐 이런 것도 넣었는데 별 효과는 없었고, 거리가.. 음산하네 

 

또 츄라이! by Runway

by RunwayML

 

낙엽이 막 부서지고 땅이 솟아오르고 마차? 차? 들은 막 일그러지는데 분위기가 분위기라 약간 해리포터 나올 거 같은 마법 도시 분위기임

 

 

재미지다. 아직 쉽게 고퀄의 영상을 만들기는 쉽지 않겠지만 그래도 효과 설정이나 프롬프트를 제대로 주면 꽤 괜찮지 않을까 싶다. 무료 버전이라 4초 정도의 영상일 뿐인데도 뭔가 감동스러운데?

 

 

마지막으로 내가 좋아하는 풍선이 막 하늘 날아다니고 요정이 나올 거 같은 그런 이미지를 Microsoft Image Creator로 이전에 만들어놨었는데 (아래 요고)

 

동영상으로 만들어 봄!  이건 맘에 쏙 드는데?