요즘 디자이너는 AI를 어떻게 쓸까? 디자이너의 실무 활용법

요즘은 AI 도구를 빼놓고 디자인 업무를 이야기하기 어렵다. 필자가 처음 관심을 가진 것은 이미지 생성 기능이었다. 몇 줄의 프롬프트만으로 새로운 이미지가 만들어지는 것이 신기했고, 자연스럽게 디자인 업무에도 적용해보게 됐다.

그렇게 시작한 AI 활용은 여러 도구를 써보며 점점 넓어졌다. 이제는 업계 사례를 찾고, 머릿속 구상을 시안으로 확인하고, Photoshop에서 쓸 리소스를 만드는 데 AI를 쓴다. 일본어 텍스트를 조합하거나 웹 페이지 구조를 고민할 때도, 반복되는 업무를 처리할 작은 프로그램을 만들 때도 마찬가지다.

게임 그래픽과 웹 프로모션, 일본 시장을 겨냥한 디자인까지 다루다 보니 작업마다 필요한 기능이 다르다. 그래서 하나의 서비스에 기대기보다 목적에 맞는 도구를 그때그때 꺼내 쓴다. 최근 업무와 개인적인 실험에서 AI를 실제로 어떻게 활용하고 있는지 작업별로 정리해봤다.

디자인을 시작할 때 가장 먼저 하는 일 중 하나는 여전히 레퍼런스를 찾는 것이다. 새 프로젝트를 맡거나 기존과 다른 그래픽 방향이 필요할 때면 Behance와 Dribbble을 자주 들여다본다.

Behance에서는 하나의 프로젝트가 어떻게 기획되고 완성됐는지 비교적 자세히 볼 수 있다. 웹·앱 디자인부터 편집 디자인까지 다양한 분야의 작업물을 살펴보기에도 좋다. Dribbble에서는 UI와 웹, 타이포그래피 등 여러 비주얼을 빠르게 훑으며 참고할 만한 표현을 찾는다.

AI를 쓴다고 이 과정이 사라지지는 않는다. 오히려 짧은 시간에 많은 이미지를 만들 수 있게 되면서 그중 무엇이 작업에 맞는지 가려낼 일이 늘었다. 스스로 어떤 표현을 좋아하고 무엇을 좋은 디자인이라고 여기는지 알아가려면 다른 디자이너의 작업을 꾸준히 봐야 한다.

레퍼런스와 별개로 업계 소식은 Gemini로 받아본다. 국내와 일본의 주요 게임사가 디자인·개발 업무에 AI를 어떻게 활용하고 있는지 브리핑 형태로 정리해달라고 요청한다.

관련 기사를 하나씩 검색할 수도 있지만 매일 확인하려면 생각보다 시간이 많이 든다. 관심 분야를 지정해두면 여러 사례를 짧은 시간에 훑을 수 있다. 그중 눈에 띄는 내용이 있으면 관련 기사를 찾아 자세히 읽는다.

이때 AI는 업계의 변화를 놓치지 않게 해주는 작은 레이더에 가깝다. 평소 직접 검색했다면 지나쳤을 사례를 접하거나, 관심을 갖고 더 찾아볼 주제를 발견할 때도 있다.

브리핑을 요청할 때는 “오늘 국내 및 일본 대형 게임사에서 디자인 관련 및 개발에 AI를 활용한 구체적인 실무 사례들을 직장인이 이해하기 쉽게 요약해서 브리핑해줘”라는 프롬프트를 쓴다. 여기에 실행 시간과 반복 주기를 지정해 예약 작업으로 설정하면 정해진 일정에 맞춰 브리핑을 받아볼 수 있다.

다만 AI가 정리한 정보에는 오류가 섞일 수 있다. 그래서 브리핑은 흐름을 훑는 용도로 활용하고, 업무에 참고할 내용은 관련 기사와 원문을 찾아 다시 확인한다. 정보를 빠르게 받아보는 것만큼 그 정보가 정확한지 따져보는 일도 중요하다.

게임 디자인에서 캐릭터가 차지하는 비중은 크다. 특히 IP를 활용하는 작업에서는 캐릭터의 특징을 유지하면서도 프로젝트에 어울리는 새로운 포즈나 구도를 고민해야 할 때가 많다. 같은 캐릭터라도 어떤 자세를 취하고 화면의 어디에 배치되는지에 따라 시안의 인상이 달라지기 때문이다.

이 과정에서 Gemini와 ChatGPT로 사전 시안을 만든다. 원본 캐릭터의 특징은 최대한 유지하도록 요청하면서 포즈나 상황을 바꿔본다. 예전에는 머릿속으로 상상하거나 간단한 스케치로 가늠하던 장면을 조금 더 구체적인 이미지로 미리 확인할 수 있다.

“이 포즈로 작업하면 어떤 느낌일까?”, “캐릭터가 이 위치에 있으면 화면이 어떻게 보일까?” 같은 궁금증을 실제 제작에 들어가기 전에 미리 풀어본다. 여러 방향을 먼저 확인해두면 어떤 안을 발전시킬지 정하기도 수월하다.

이렇게 만든 이미지는 제작 방향을 가늠하기 위한 사전 시각화, 즉 프리비주얼라이제이션에 가깝다. 원본의 특징을 기준으로 포즈와 구도를 비교하고, 실제 작업에 활용할 수 있는 부분을 골라 시안을 구체화한다. 생성 과정에서 캐릭터의 특징이 달라지기도 하므로 원본과 하나하나 대조해본다.

회사에서 제공하는 업무용 AI 환경을 사용할 때도 보안 정책과 허용 범위부터 확인해야 한다. 어떤 자료를 입력할 수 있는지, 생성한 결과물을 어디까지 사용할 수 있는지 살펴보는 일 역시 AI를 활용하는 디자인 업무의 일부라고 생각한다.

ChatGPT의 이미지 생성 기능은 완성된 이미지를 한 번에 받기보다 작업에 필요한 리소스를 만드는 데 주로 쓴다. 디자인을 진행하다 보면 전체 이미지보다 특정 효과 하나가 필요한 순간이 있기 때문이다.

빛이 번지는 효과, 글리치, 파티클, 찢어진 흔적, 흩날리는 잎, 연기 등이 그 예다. 직접 만들 수도 있지만 원하는 형태로 제작하고 다듬으려면 시간이 든다. 이럴 때는 원하는 분위기의 레퍼런스를 보여주고, 필요한 효과나 그래픽 요소를 따로 생성한다.

생성한 리소스는 Photoshop으로 가져와 현재 작업에 맞게 색을 조정하거나 다른 이미지와 합성하고, 필요 없는 부분을 지운다.

이렇게 작업하면서 Photoshop과 AI를 함께 쓰는 일이 자연스러워졌다. 기존 프로그램에서 하던 작업 사이에 리소스를 생성하는 단계가 더해졌다. 필요한 리소스를 확보하는 방법이 늘어나면서, 효과를 직접 제작할지 AI로 생성한 뒤 다듬을지 작업 상황에 맞춰 고른다.

ComfyUI는 사전 이미지 작업과 리소스 제작에 쓴다. 처음 화면을 열면 수많은 노드가 연결돼 있어 꽤 복잡해 보인다. 각 노드가 어떤 역할을 하는지, 연결 방식에 따라 결과가 어떻게 달라지는지 익히는 데도 시간이 걸린다.

하지만 모델과 처리 과정을 직접 연결하고 이미지가 만들어지는 흐름을 따라가다 보면 프롬프트를 입력해 결과를 받는 방식과는 다른 재미가 있다. 작업 과정이 화면에 드러나 있어 조건을 바꾸고 결과를 비교하며 실험할 수 있다.

캐릭터와 배경을 따로 테스트하거나 필요한 요소를 만들어보면서 디자인에 활용할 방향을 찾는다. 결과가 마음에 들지 않으면 설정을 바꿔 다시 생성하고, 이전 결과와 비교하는 과정을 반복한다.

같은 목적의 이미지라도 어떤 모델과 조건을 쓰는지에 따라 결과가 달라진다. 설정을 하나씩 조정하며 원하는 표현에 가까워지는 방법을 찾을 수 있다는 점이 ComfyUI를 쓰는 이유 중 하나다.

AI를 활용한 영상 제작도 테스트하고 있다. 게임 비주얼을 바탕으로 기존 화면에 갑자기 괴물이 나타나는 영상을 만들어본 적이 있다.

이 작업에서 흥미로웠던 점은 머릿속 아이디어를 움직이는 화면으로 확인할 수 있다는 것이었다. 정지된 이미지로 상상할 때와 실제 영상으로 볼 때의 느낌은 다르다. 괴물이 등장하는 장면이 예상만큼 재미있는지, 화면 안에서 자연스럽게 이어지는지를 결과물을 보며 판단할 수 있었다.

기존 방식이라면 짧은 영상 아이디어 하나를 검토하는 데도 콘티를 짜고 소스를 준비한 뒤 합성과 모션 작업까지 거쳐야 한다. AI를 쓰면 아이디어 단계에서 움직임을 비교적 빠르게 확인할 수 있다. 먼저 짧은 영상으로 만들어보고, 더 발전시킬 만한 방향인지 판단한다.

최근에는 프로모션과 광고에서도 정적인 이미지와 함께 짧은 영상 콘텐츠를 쓸 일이 많아졌다. 필자 역시 이미지로 작업하던 비주얼에 어떤 움직임을 더할 수 있을지 고민하는 일이 늘었다. AI 영상은 이런 아이디어를 직접 확인하는 데 드는 부담을 덜어준다. 짧게 테스트한 결과를 보며 다음 작업의 방향을 정할 수 있다.

웹 프로모션을 디자인할 때도 AI의 도움을 받는다. 웹 화면에서는 비주얼만큼 정보의 순서와 배치가 중요하다. 어떤 콘텐츠를 먼저 보여줄지, 메인 비주얼 다음에 무엇을 배치할지, 사용자의 참여를 유도하는 CTA 버튼은 어디에 둘지 계속 고민하게 된다.

이때 페이지에 담을 콘텐츠와 목적을 AI에 설명하고 여러 UI/UX 구조를 제안받는다. 가능하면 실제 화면 형태로도 만들어 비교한다. 글로 적힌 순서를 읽는 것과 화면에서 배치를 보는 것은 느낌이 다르기 때문이다.

처음 생각한 구조와 AI가 제안한 구조를 나란히 놓으면 미처 고려하지 못한 정보의 순서나 배치가 눈에 들어올 때가 있다. 그중 적합한 안을 채택하기도 하고, 두 구조의 장점을 조합해 새로운 안을 만들기도 한다.

이렇게 하면 비교할 수 있는 시안을 더 확보할 수 있다. 선택지가 늘어나면 각 안의 장단점을 살펴볼 수 있고, 처음 구상한 구조가 적절했는지도 다시 점검하게 된다.

최종 판단은 페이지의 목적과 콘텐츠에 맞춰 디자이너가 내린다. 어떤 구조가 정보를 이해하기 쉬운지, 참여로 이어지는 흐름이 자연스러운지 확인하며 제안을 실제 작업에 맞게 다듬는다.

새로운 AI 도구가 계속 나오다 보니 처음에는 새 기술을 조금이라도 빨리 익혀야 한다는 마음이 컸다. 그런데 최근 몇 권의 책을 읽으며 배우는 속도 외에도 생각할 것이 있다고 느꼈다. 어떤 문제를 해결하려고 도구를 쓰는지, 새로운 정보를 받아들이는 동안 스스로는 어떻게 일하고 있는지도 돌아보게 됐다.

디자인 직무가 아니더라도 IT 업계에서 기술을 다루는 사람이라면 시간을 내 읽어볼 만한 책들이다. 각 책을 읽으며 업무와 연결해 생각한 내용을 소개한다.

《일을 위한 디자인》 (올리비아 리 지음, 한빛비즈)

이 책을 읽으며 가장 기억에 남은 것은 기술을 대하는 태도였다. 새로운 프로그램을 익히는 일도 필요하지만, 지금 해결해야 할 문제가 무엇인지 아는 것이 먼저라는 생각이 들었다. 문제를 이해해야 그에 맞는 도구도 고를 수 있기 때문이다.

실제 작업에서도 도구를 하나로 정해두지 않는다. Photoshop으로 작업하다 필요한 리소스가 생기면 AI를 쓰고, 이미지 표현을 더 세밀하게 실험하고 싶을 때는 ComfyUI를 사용하거나 ChatGPT와 Gemini의 프롬프트를 조정해본다. 반복되는 업무가 보이면 Codex로 이를 처리할 도구를 만들어보기도 한다.

어떤 프로그램을 쓸지는 만들려는 것과 해결하려는 문제에 따라 달라진다. 이 책을 읽으며 작업의 목적부터 분명히 해야겠다고 생각했다. 새로운 기능을 접할 때도 실제 업무의 어느 부분에 필요한지 먼저 살펴보려 한다.

《완벽한 원시인》 (자청 지음, 필로틱)

《완벽한 원시인》을 읽으면서는 기술을 배우는 동안 몸과 일상을 어떻게 돌보고 있는지 돌아봤다. AI 시대에 적응하려고 더 많은 정보를 받아들이고 새로운 기능을 익히다 보면 화면 앞에 머무는 시간도 길어진다. 책에서 다루는 인간의 진화적 배경과 현대 생활환경의 관계는 이런 일상을 다른 관점에서 보게 했다.

새로운 기술을 계속 익혀야 한다는 생각이 컸던 때라 직접 움직이고 몸을 쓰는 일의 중요성을 다룬 대목이 더 인상적으로 다가왔다. 처음에는 아날로그 경험에 대한 그리움 때문인가 싶었지만, 읽다 보니 정보와 기술을 받아들이느라 평소 생활은 어떻게 보내고 있는지 되짚어보게 됐다.

이를 디자인 업무와도 연결해봤다. 화면에서 레퍼런스를 찾는 것 외에 직접 어떤 장소를 방문하고 그곳의 분위기와 문화를 경험한 일이 작업에 도움이 됐던 순간들이 떠올랐다. AI로 시안을 빠르게 만드는 시간이 늘어날수록 화면 밖에서 보고 경험하는 시간도 챙겨야겠다고 생각했다.

《AI는 인간을 먹고 자란다》 (마크 그레이엄·제임스 멀둔·캘럼 캔트 지음, 김두완 옮김, 흐름출판)

이 책은 AI를 사용하는 입장에서 기술의 편리함 뒤에 있는 사람과 노동을 생각하게 했다. 화면에서는 몇 초 만에 결과가 나오지만, 그 기술은 수많은 데이터와 사람의 작업, 시스템을 바탕으로 작동한다.

그동안은 어떤 기능을 써야 원하는 결과를 얻을 수 있는지에 주로 관심을 뒀다. 이 책을 읽고 나서는 AI를 만들고 유지하는 과정에도 더 관심을 가져야겠다고 느꼈다. 사용자가 보는 결과만으로는 드러나지 않는 일이 많다는 점이 기억에 남았다.

AI를 업무에 적극적으로 쓰는 사람이라면 “어떻게 더 잘 사용할까?”와 함께 “내가 사용하는 기술은 어떤 과정을 거쳐 만들어졌을까?”라는 질문도 한 번쯤 해볼 만하다. 도구의 기능을 익히는 것과 더불어 그 도구가 작동하는 배경을 이해하는 데 도움이 된 책이다.

AI를 디자인 업무에 쓰면서 가장 크게 달라졌다고 느끼는 것은 시도할 수 있는 횟수다. 작업 속도도 빨라졌지만, 이전보다 여러 방향을 직접 확인해볼 수 있게 된 점이 더 와닿는다.

물론 결과가 늘 만족스럽지는 않다. 캐릭터의 특징이 달라지기도 하고, 일본어 텍스트는 별도로 검토해야 한다. 코딩 역시 한 번의 요청으로 원하는 결과가 완성되지는 않는다. 시안이 많아졌다고 적합한 안이 저절로 정해지는 것도 아니어서, 작업 목적에 맞는지, 원본의 특징을 유지했는지, 실제 화면에서 활용할 수 있는지 하나씩 직접 살펴보고 고쳐야 한다.

그래서 AI를 많이 사용할수록 결과를 판단하는 기준이 더 필요하고, 그 기준은 평소의 경험에서 나온다. Behance와 Dribbble에서 다른 디자이너의 작업을 보고, 게임 그래픽과 일본 디자인을 살펴본다. 현지 문화를 직접 경험하거나 새로운 기술과 책을 접하며 익숙한 작업을 다른 관점에서 돌아볼 때도 있다. 이렇게 쌓인 경험이 AI가 제안한 결과를 선택하고 수정할 때의 바탕이 된다.

도구를 직접 써볼 수 있는 회사의 지원도 힘이 된다. 컴투스에서는 업무에 활용해보고 싶은 AI 도구가 있으면 활용 목적과 기대 결과물을 기안으로 작성하고, 팀 내 승인을 거쳐 구독 비용을 지원받아 테스트할 수 있다. 덕분에 여러 도구를 실제 업무에 써보며 팀에 맞는 활용법을 찾는, 일종의 R&D를 이어가고 있다.

앞으로도 새로운 AI 도구가 나오면 필요한 리소스를 만들거나 시안의 구도를 비교하는 작은 작업부터 시도해볼 생각이다. 그렇게 만든 결과를 검토하고 다듬어 실제 디자인에 반영해보면 업무에 얼마나 쓸모 있는지 알 수 있다. AI로 확인할 수 있는 가능성은 많아졌지만, 무엇을 선택하고 어떻게 완성할지는 여전히 디자이너의 몫이다.