AI Insight

요즘 “텍스트만 입력했는데 영상이 만들어진다”는 말이 과장이 아닌 시대가 됐습니다. 그 흐름에서 자주 언급되는 도구 중 하나가 Kling(클링)입니다. Kling은 텍스트로 영상을 생성하거나(Text-to-Video), 이미지를 기반으로 움직이는 영상을 만들고(Image-to-Video), 만들어진 결과물을 다시 손보는 편집형 흐름까지 포함해 ‘짧은 영상 제작’에 초점을 두고 발전해 온 영상 생성 AI 라인업으로 알려져 있습니다.

그리고 최근에는 Kling O1(클링 O1)이 공개되면서 “멀티모달”이라는 키워드가 더 크게 부각됐습니다. 초보자 입장에서 O1의 핵심은 단순히 화질이 좋아졌다, 움직임이 자연스러워졌다는 수준을 넘어서, 텍스트·이미지·영상·특정 피사체(Subject) 참조를 한 번에 받아 ‘생성과 편집’을 하나의 흐름으로 묶어 가려는 방향이라는 점입니다. 다시 말해 예전처럼 “일단 만들고 → 마음에 안 드는 부분은 다시 만들고 → 스타일을 또 바꾸고” 같은 반복을 줄이고, 같은 엔진 안에서 자연어로 지시해 결과를 다듬는 경험을 강화하겠다는 그림에 가깝습니다.

이 글은 “AI 영상 처음”인 분들을 기준으로 작성했습니다. 그래서 기능을 목록처럼 나열하기보다, 실제로 처음 실행할 때 어떤 생각 순서로 접근해야 실패가 줄어드는지, 그리고 O1의 멀티모달이 도대체 무엇을 의미하는지, 가능한 한 풀어서 설명하겠습니다.

---

1) Kling은 어떤 영상 AI인가: 한 번에 ‘영화 한 편’보다 ‘샷 한 개’를 잘 만들게 해주는 도구

영상 생성 AI를 처음 접하면 흔히 이런 욕심이 생깁니다. “1분짜리 영상이 한 번에 나왔으면 좋겠다.” 하지만 현실적으로 AI 영상은 길이가 늘어날수록 난이도가 급격히 올라갑니다. 인물 얼굴이 장면마다 바뀌거나, 배경이 흔들리거나, 손이나 소품이 이상해지거나, 색감이 들쭉날쭉해지는 식의 문제가 조금만 길어져도 쉽게 생깁니다.

그래서 현재(그리고 한동안은) 가장 현실적인 활용 방식은, 짧은 클립(샷) 단위로 결과를 잘 뽑아내고, 그 샷을 편집해서 이어 붙이는 방식입니다. Kling이 자주 언급되는 이유도 이 지점과 맞닿아 있습니다. “긴 영상 한 번에”보다는 “짧은 샷을 빠르게 만들고 반복해서 개선”하는 흐름에서 강점을 내세우는 쪽으로 인식되기 때문입니다. 초보자에게는 이 전략이 특히 유리합니다. 결과물이 빨리 나오고, 무엇이 잘됐고 무엇이 망했는지 원인을 훨씬 쉽게 파악할 수 있기 때문입니다.

---

2) 새로 나온 Kling O1은 뭐가 다른가: 멀티모달은 ‘입력 종류’가 아니라 ‘워크플로우 통합’에 가깝다

많은 분들이 멀티모달을 “텍스트도 되고 이미지도 된다” 정도로 이해하곤 합니다. 그런데 Kling O1에서 말하는 멀티모달은 그보다 조금 더 실전적인 의미로 받아들이는 편이 좋습니다. 초보자 기준으로 가장 중요한 변화는, 텍스트만으로 만들던 작업에 이미지나 영상 같은 참조(레퍼런스)를 자연스럽게 섞어서 결과의 정체성을 고정하고, 필요하면 편집 지시로 결과를 ‘다시 생성’이 아니라 ‘수정’으로 접근할 수 있게 하는 방향이라는 점입니다.

예를 들어 텍스트만으로 인물 영상을 만들면, 매번 비슷하게 나오더라도 디테일에서 조금씩 어긋납니다. 머리 길이, 얼굴형, 의상 디테일, 액세서리 같은 요소가 미묘하게 바뀌면서 “내가 원했던 그 캐릭터”가 유지되지 않는 문제가 생깁니다. O1 계열이 강조하는 통합 멀티모달은, 이런 문제를 줄이기 위해 “참조 이미지/참조 피사체”를 적극적으로 쓰게 만드는 흐름이라고 이해하면 쉽습니다.

또 하나 중요한 포인트는 “일관성”입니다. AI 영상의 품질은 단순히 한 프레임의 예쁨만으로 결정되지 않습니다. 3초짜리라도 장면 안에서 인물이 일관되게 유지되고, 조명이 갑자기 바뀌지 않고, 배경이 말이 되게 이어져야 ‘영상’으로 자연스럽게 보입니다. O1은 이런 일관성 문제를 정면으로 줄이겠다는 메시지를 강하게 담고 있습니다.

---

3) 초보자가 가장 빨리 성공하는 시작법: 텍스트만으로 감 잡고, 곧바로 참조 이미지로 ‘정체성’을 고정한다

처음에는 텍스트만으로 시작해도 됩니다. 다만 목표를 “대단한 영상”이 아니라 “명확한 샷 하나”로 잡는 것이 중요합니다. 예를 들어 “비 오는 밤거리에서 우산을 든 인물이 천천히 고개를 돌며 미소 짓는 5초 샷” 정도면 충분합니다. 이 정도의 목표는 장면과 움직임이 과하지 않고, 결과를 평가하기도 쉽습니다.

그 다음 단계에서 초보자가 가장 크게 체감하는 변화가 참조 이미지(Reference) 한 장입니다. 참조 이미지는 마치 “이게 기준이다”라고 모델에게 기준점을 주는 역할을 합니다. 텍스트만으로는 “내가 상상한 얼굴”을 정확히 전달하기 어렵지만, 참조 이미지가 있으면 “이 인물을 유지해줘”라는 지시가 훨씬 강해집니다. 특히 인물이나 제품처럼 정체성이 중요한 대상일수록 참조 이미지의 효과는 압도적입니다.

여기서 팁이 하나 있습니다. 참조 이미지를 쓸 때 초보자가 흔히 하는 실수는 “참조 이미지에 있는 모든 디테일을 그대로 유지하면서 동시에 완전히 다른 상황을 요구”하는 것입니다. 예를 들어 조명이 강하게 들어오는 스튜디오 사진을 참조로 넣고, 프롬프트에서는 “어두운 밤거리, 네온사인, 비, 역광”을 동시에 요구하면 충돌이 생깁니다. 가장 안전한 방법은, 참조로는 “정체성(얼굴/제품 형태)”만 얻고, 조명/배경은 프롬프트로 천천히 바꿔가는 것입니다.

---

4) 결과를 바꾸는 건 ‘감성 단어’보다 ‘촬영 지시’다: 초보자용 프롬프트의 정석

많은 분들이 “예쁘게”, “감성적으로”, “고급스럽게” 같은 단어를 프롬프트에 넣습니다. 물론 도움이 될 때도 있지만, 영상에서는 이런 단어가 너무 추상적인 경우가 많습니다. 대신 프롬프트를 영화 촬영 지시처럼 쓰면 결과가 훨씬 안정적으로 나옵니다. 초보자에게 특히 효과적인 것은 카메라 움직임을 명시하는 방식입니다.

다음은 초보자용으로 실패율이 낮은 문장 구조입니다. 한 번에 모든 걸 넣지 말고, 이 정도만으로 먼저 생성해보는 것을 권합니다.

비 오는 밤거리, 우산을 든 인물의 상반신 클로즈업.
인물이 천천히 고개를 돌며 미소.
카메라: slow dolly-in(천천히 줌인), 얕은 심도, 네온 보케, 시네마틱 톤.

 

이 프롬프트의 장점은 “움직임이 작고 명확하다”는 점입니다. 손동작이 크지 않고, 인물은 ‘고개 돌리기’ 정도로만 움직이며, 카메라도 급격히 돌지 않고 천천히 들어갑니다. 이런 단순한 움직임이야말로 초보자가 안정적으로 결과를 얻는 지름길입니다. 영상 생성 AI는 움직임이 격해질수록 실패 확률이 올라갑니다. 그러니 처음에는 ‘작고 느린 움직임’으로 성공 경험을 쌓는 편이 좋습니다.

---

5) O1을 제대로 쓰는 방식: “다시 생성”보다 “수정(편집)”을 먼저 떠올리는 습관

초보자가 영상 생성 AI를 쓰며 가장 많이 시간을 잃는 구간은 “마음에 안 드니까 다시 생성”을 반복하는 단계입니다. 다시 생성은 편하긴 하지만, 비용(크레딧)도 빠르게 늘고, 무엇보다 결과가 랜덤하게 바뀌기 때문에 ‘좋은 부분’을 놓치기 쉽습니다. 반대로 효율이 올라가는 지점은, 이미 꽤 괜찮게 나온 샷을 “고쳐서 쓰는” 쪽으로 사고가 전환될 때입니다.

예를 들어 샷 자체는 괜찮은데 배경에 지나가는 사람이 거슬린다고 해봅시다. 많은 초보자는 전체를 다시 만들려고 합니다. 하지만 이럴 때야말로 편집형 지시가 유용합니다. “배경의 지나가는 사람을 제거하고 자연스럽게 복원해줘” 같은 방식으로 접근하면, 좋은 샷을 살리면서 디테일을 개선하는 방향으로 작업이 이어집니다. O1이 ‘생성+편집 통합’을 강조하는 이유도 이런 흐름을 자연스럽게 만들기 위해서라고 이해하면 됩니다.

다만 편집 지시에도 원칙이 있습니다. 초보자라면 “한 번에 한 가지 수정만” 시도하는 것이 좋습니다. 사람 제거, 색감 변경, 하늘 교체, 의상 변경 같은 작업을 한 번에 요구하면 결과가 흔들릴 수 있고, 무엇이 실패 원인인지도 알 수 없습니다. 하나씩 성공시키면서 쌓아가야 결과가 빠르게 좋아집니다.

---

6) 초보자가 흔히 겪는 문제를 줄이는 현실적인 방법: 장면을 단순화하고, 움직임을 줄인다

AI 영상에서 손이 이상해지거나 얼굴이 흔들리는 문제는 유명합니다. 그런데 실제로는 손 자체가 문제라기보다, 장면이 너무 복잡해서 모델이 우선순위를 잃어버리는 경우가 많습니다. 그래서 초보자가 할 수 있는 가장 강력한 해결책은 “장면을 단순화”하는 것입니다.

처음부터 군중이 많은 거리, 복잡한 조명, 반사광이 많은 소재, 빠른 액션까지 한 샷에 넣으면 실패 확률이 높습니다. 대신 배경을 단순하게 잡고, 주인공(또는 제품) 하나를 중심으로 잡은 뒤, 그 다음 샷에서 배경 디테일을 조금씩 올리는 방식으로 접근하면 결과가 안정적입니다. 이 방식은 ‘잘 나오는 조합’을 찾게 해주고, 한 번 찾은 조합은 이후에도 반복 활용이 가능합니다.

움직임도 마찬가지입니다. 처음에는 카메라를 고정시키거나, 천천히 줌인/줌아웃 정도만 시도해보세요. 인물 동작도 걷기, 고개 돌리기, 천천히 손 들어 인사하기 같은 작은 동작이 좋습니다. 격한 액션이나 급격한 카메라 회전은 성공률이 낮아, 초보자가 좌절하기 쉬운 구간입니다. 영상 생성 AI를 “통제하는 감각”이 먼저 쌓이면, 그 다음에 화려한 연출로 확장하는 편이 훨씬 빠릅니다.

---

7) 초보자를 위한 15초 제작 시나리오: 5초 샷 3개로 ‘완성도’를 만든다

초보자가 가장 빠르게 결과물을 얻는 방식은 “짧은 샷 3개”를 만드는 겁니다. 여기서 핵심은 ‘길이’가 아니라 ‘완성도’입니다. 15초 영상은 사실상 5초 샷 3개로 충분히 설득력 있게 만들 수 있습니다.

 

- 첫 번째 샷은 분위기를 잡는 설정샷입니다.

와이드 샷으로 배경과 톤을 보여주되 움직임은 최소화합니다. 예를 들어 “비 오는 밤거리, 네온사인이 흐릿하게 보이는 와이드 샷, 카메라 고정” 같은 형태면 충분합니다. 이 샷이 성공하면 영상의 ‘세계관’이 잡힙니다.

 

- 두 번째 샷은 주인공 샷입니다.

여기에서 참조 이미지를 쓸 수 있다면 쓰는 것을 권합니다. 주인공을 클로즈업으로 잡고, 카메라는 천천히 줌인 정도로만 움직이게 합니다. 이 샷의 목표는 멋진 연출이 아니라, “주인공 정체성을 확실히 고정”하는 것입니다.

 

- 세 번째 샷은 행동 샷입니다.

작은 행동 하나만 넣습니다. 인물이 천천히 걸어가거나, 고개를 돌려 미소를 짓거나, 제품이 천천히 회전하는 정도면 충분합니다. 이 샷이 들어가면 영상이 ‘살아 움직이는 느낌’을 얻습니다.

 

세 샷을 붙여보면, 초보자도 꽤 그럴듯한 15초 영상을 빠르게 만들 수 있습니다. 그리고 이 구조를 익히면, 이후에는 샷을 1개씩 더 추가해 길이를 늘리기만 하면 됩니다.

---

8) 마무리: Kling과 O1을 처음 쓰는 사람에게 가장 중요한 건 “한 번에 크게”가 아니라 “짧게 정확히”다

Kling은 영상 생성 AI 중에서도 특히 “짧은 샷을 만들고 반복해서 개선하는 방식”과 잘 맞는 도구로 알려져 있습니다. 그리고 Kling O1은 텍스트·이미지·영상·피사체 참조를 한 번에 다루는 통합 멀티모달 방향을 전면에 내세우며, 초보자에게도 “정체성을 고정하고 결과를 수정해 완성도를 끌어올리는 흐름”을 더 중요하게 만들고 있습니다.

처음부터 1분짜리 영상 한 편을 만들려고 하면 실패도 잦고, 무엇이 문제인지도 파악하기 어렵습니다. 하지만 5초 샷 하나를 명확히 설계하고, 참조 이미지로 정체성을 고정하고, 편집 지시로 결과를 다듬는 흐름을 익히면, 그때부터 Kling은 확실히 ‘재미’를 넘어서 ‘생산성’이 됩니다. 초보자에게 필요한 것은 화려한 연출이 아니라, 통제 가능한 성공 경험입니다. 그 경험을 빠르게 쌓을수록, 더 큰 장면과 더 긴 영상도 자연스럽게 따라옵니다.

---

참고 링크

아래 링크는 Kling과 Kling O1 관련 소개/발표 내용을 확인할 수 있는 참고 자료입니다.

- Kling O1 IR/뉴스 릴리스: https://ir.kuaishou.com/news-releases/news-release-details/kling-o1-launches-worlds-first-unified-multimodal-video-model-0

- PR Newswire 배포문: https://www.prnewswire.com/apac/news-releases/kling-o1-launches-as-the-worlds-first-unified-multimodal-video-model-302630646.html

- (API 관점) Kling O1 소개: https://blog.fal.ai/introducing-kling-o1-video-available-exclusively-as-an-api-on-fal/

- Kling O1 관련 기사(요약/해설): https://www.eweek.com/news/china-kuaishou-kling-o1/

- 생성형 영상 일관성 관련 기사: https://kr-asia.com/shengshu-and-kuaishou-unveil-new-ai-systems-to-improve-generative-video-consistency