맥북에어에서 “이게 정말 돌아가기는 할까?”라는 걱정으로 시작했던 ComfyUI 여정이 어느새 윈도우 PC를 지나 우분투 데스크탑까지 이어졌다.
처음에는 그저 이미지를 한 장 만들어보는 것이 목표였다. 하지만 여러 운영체제와 모델을 직접 경험하면서 점점 내가 원하는 작업 방식이 무엇인지 알게 됐다.
그리고 결국 남들이 좋다고 하는 환경이 아니라, 내가 실제로 편하게 사용할 수 있는 시스템을 만들게 됐다.
우분투에는 ComfyUI 데스크탑 앱이 없었다
우분투로 넘어온 뒤 처음 알게 된 사실이 하나 있었다.
맥이나 윈도우에서는 비교적 쉽게 설치할 수 있는 ComfyUI 데스크탑 버전이 제공되지만, 우분투에서는 클릭 몇 번으로 설치할 수 있는 데스크탑 앱이 따로 없었다.
결국 직접 설치하는 방식으로 ComfyUI를 구성해야 했다.
처음에는 조금 부담스러웠다.
“윈도우에서도 어렵게 설정했는데, 우분투에서는 또 처음부터 복잡하게 설치해야 하나?”
이런 생각이 먼저 들었다.
하지만 막상 설치를 시작해보니 예상만큼 어렵지는 않았다. 이미 리눅스에서 프로그램을 설치하고 터미널 명령어를 사용하는 방식에 어느 정도 익숙해져 있었기 때문이다.
ComfyUI를 실행하는 방법도 생각보다 단순했다.
터미널에서 ComfyUI가 설치된 폴더로 이동한 뒤 실행 명령어를 입력하면 됐다. 실행이 완료되면 웹 브라우저를 열고 ComfyUI 주소로 접속했다.
그 이후의 사용 방식은 맥이나 윈도우와 크게 다르지 않았다.
필요한 커스텀 노드를 설치하고, 워크플로우를 불러오고, 모델을 선택해 이미지를 생성하면 됐다.
처음에는 우분투라서 훨씬 복잡할 것이라고 생각했지만, 실제로는 실행 방식만 조금 달랐을 뿐이었다. 적응하고 나니 오히려 단순하고 편했다.
속도 문제는 해결됐지만, 저장 공간이 새로운 문제가 됐다
PC로 넘어오면서 가장 크게 달라진 점은 이미지 생성 속도였다.
맥북에어에서 이미지를 만들 때는 한 장을 생성할 때마다 기다리는 시간이 길었다. 하지만 성능이 더 좋은 PC 환경으로 넘어오면서 생성 속도에 대한 답답함은 거의 사라졌다.
여러 설정을 빠르게 바꿔가며 결과를 비교할 수 있었고, 프롬프트를 조금씩 수정하면서 반복 테스트하는 것도 훨씬 편해졌다.
그런데 속도 문제가 해결되자 전혀 예상하지 못했던 새로운 문제가 생겼다.
바로 저장 공간이었다.
ComfyUI는 기본적으로 생성한 결과물을 PNG 형식으로 저장한다. PNG는 화질 손실이 적고 이미지 정보를 안정적으로 보존할 수 있다는 장점이 있다.
하지만 파일 용량이 크다는 단점도 있다.
이미지를 가끔 한두 장 생성할 때는 큰 문제가 되지 않는다. 하지만 여러 모델과 프롬프트를 비교하기 시작하면 이야기가 달라진다.
한 번 테스트할 때마다 수십 장의 이미지가 생겼고, 생성 속도가 빨라진 만큼 결과물도 빠르게 쌓였다.
처음에는 별생각 없이 계속 이미지를 만들었다. 그러다 어느 순간 저장 폴더를 확인해보니, 이미지 파일들이 예상보다 훨씬 많은 공간을 차지하고 있었다.
빠른 생성 속도가 오히려 저장 공간을 더 빠르게 소모하게 만든 것이다.
PNG 대신 webp로 저장하다
저장 공간 문제를 해결하기 위해 내가 정말 PNG 품질이 필요한지 다시 생각해봤다.
내가 생성한 이미지는 인쇄용 원본이나 전문적인 후보정 작업에 사용하는 것이 아니었다. 대부분 프롬프트 결과를 비교하거나, 블로그 이미지와 아이디어 자료로 활용하는 용도였다.
그렇다면 매번 큰 용량의 PNG 파일로 저장할 필요는 없었다.
그래서 결과물을 webp 형식으로 저장하도록 워크플로우를 변경했다.
효과는 생각보다 훨씬 컸다.
기존에는 이미지 한 장이 수 MB를 차지하는 경우가 많았지만, webp로 변경한 뒤에는 설정에 따라 수십 KB에서 수백 KB 정도로 줄어들었다.
물론 이미지 내용과 해상도, 압축 품질에 따라 실제 파일 크기는 달라질 수 있다. 그래도 내 작업 환경에서는 PNG와 비교하기 어려울 정도로 용량이 작아졌다.
화질도 충분했다.
이 변경을 하고 나서야 비로소 두 가지 압박에서 동시에 벗어난 기분이 들었다.
하나는 느린 생성 속도였고, 다른 하나는 계속 쌓이는 이미지 용량이었다.
속도와 저장 공간 문제가 모두 정리되자, 그제야 결과 파일을 걱정하지 않고 편하게 이미지를 만들 수 있게 됐다.
환경이 좋아지니 영상 제작에도 욕심이 생겼다
이미지 생성 환경이 안정되자 자연스럽게 새로운 욕심이 생겼다.
이번에는 영상 생성에 도전해보고 싶었다.
ComfyUI에는 이미지 생성뿐 아니라 짧은 영상이나 이미지 기반 애니메이션을 만들 수 있는 다양한 워크플로우가 있다.
관련 모델과 커스텀 노드를 설치하고 여러 방법을 테스트해봤다.
하지만 결과는 솔직히 만족스럽지 않았다.
우선 영상 생성에는 이미지 생성보다 훨씬 많은 성능이 필요했다. 생성 시간도 길었고, 메모리 사용량도 컸다.
내가 영상 제작 과정에 충분히 익숙하지 않았다는 점도 문제였다. 설정해야 할 항목이 많았고, 원하는 움직임을 만들기 위해 반복적으로 수정해야 했다.
나에게 영상 생성은 꼭 필요한 기능이 아니었다.
그동안은 ComfyUI에서 할 수 있는 기능이라면 일단 모두 사용해보고 싶었다. 하지만 기능이 많다고 해서 반드시 내 작업에 도움이 되는 것은 아니었다.
결국 영상 관련 워크플로우와 체크포인트, 사용하지 않는 노드들을 정리했다.
처음에는 어렵게 설치한 파일을 삭제하는 것이 아깝게 느껴졌다. 하지만 사용하지 않는 기능을 계속 남겨두면 저장 공간만 차지하고 관리도 복잡해진다.
필요하지 않은 기능을 덜어내는 것도 나만의 시스템을 만드는 과정이었다.
여러 모델을 비교하고, 필요한 것만 남기다
영상 관련 환경을 정리한 뒤에는 이미지 모델도 다시 비교하기 시작했다.
처음 ComfyUI를 사용할 때는 새로운 모델을 발견할 때마다 설치했다. 커뮤니티에서 좋다는 이야기를 보면 직접 사용해보고 싶었다.
하지만 모델이 많아질수록 선택은 오히려 어려워졌다.
비슷한 스타일의 모델이 여러 개 생겼고, 어떤 상황에서 어떤 모델을 사용해야 할지 매번 고민해야 했다.
그래서 단순히 유명한 모델을 모으는 것이 아니라, 내가 실제로 자주 사용하는 모델만 남기기로 했다.
중간에 Ideogram 계열 모델도 알게 됐다. 결과물은 흥미로웠지만, 내 환경에서는 생성 속도가 느리게 느껴졌다.
결국 활용 빈도가 낮아져 삭제했다.
Krea 2도 테스트했다. 당시에는 Z Image Turbo와 비교하면서 사용했는데, 처음 사용한 Krea 2보다 Z Image Turbo의 결과가 더 마음에 들었다.
Z Image Turbo는 빠르게 결과를 확인할 수 있었고, 내가 원하는 이미지의 분위기도 비교적 잘 표현했다.
그 시점까지는 Z Image Turbo가 내 주력 모델이 될 가능성이 높아 보였다.
결과를 뒤집은 Krea 2 수정 버전
그러던 중 커뮤니티에서 Krea 2의 수정 버전을 발견했다.
처음에는 큰 기대 없이 설치했다. 기존 Krea 2와 속도가 크게 다르지 않을 것이라고 생각했고, 결과 역시 비슷할 것이라고 예상했다.
하지만 실제로 이미지를 생성해보니 느낌이 달랐다.
생성 속도 자체는 기존 Krea 2와 크게 다르지 않았지만, 이미지의 전체적인 분위기와 완성도가 내가 원하는 방향에 더 가까웠다.
인물 표현과 색감, 화면 구성도 마음에 들었다.
그동안 Z Image Turbo와 Krea 2 사이에서 계속 고민하고 있었는데, 이 수정 버전을 사용한 뒤에는 선택이 분명해졌다.
결국 Z Image Turbo를 정리하고 Krea 2 수정 버전으로 완전히 이동했다.
모델을 많이 보유하고 있을 때는 선택지가 많아 든든하다고 생각했다.
하지만 실제 작업에서는 자주 사용하는 모델이 몇 개로 정해져 있었다. 사용하지 않는 모델은 저장 공간만 차지하고, 모델 목록을 복잡하게 만들 뿐이었다.
결국 남은 모델은 두 개였다
여러 모델을 설치하고 삭제하는 과정을 거친 뒤, 현재 내 시스템에는 두 가지 핵심 모델만 남았다.
애니메이션 스타일 이미지를 만들 때는 `CoffeeMix_Anima`를 사용한다.
그 외의 일반적인 이미지 생성에는 Krea 2 수정 버전을 사용한다.
처음에는 가능한 많은 모델을 보유해야 다양한 이미지를 만들 수 있다고 생각했다.
하지만 실제로는 모델의 개수보다 각 모델의 특징을 얼마나 잘 이해하고 활용하는지가 더 중요했다.
자주 사용하는 모델을 정해두니 작업 방식도 단순해졌다.
애니 스타일이 필요하면 CoffeeMix_Anima를 선택하고, 그 외의 작업은 Krea 2를 사용하면 됐다.
모델을 고르는 데 시간을 쓰지 않아도 됐고, 프롬프트와 워크플로우를 개선하는 데 더 집중할 수 있었다.
결국 나에게 필요한 것은 수십 개의 모델이 아니라, 내가 원하는 결과를 안정적으로 만들어주는 두 개의 모델이었다.
마지막 작업, PromptBuilder를 다시 만들다
ComfyUI 환경과 모델 정리가 끝나자 마지막으로 하고 싶은 일이 생겼다.
바로 내가 사용하던 PromptBuilder를 본격적으로 리뉴얼하는 일이었다.
PromptBuilder는 이미지 생성에 사용할 프롬프트를 보다 쉽게 만들고 관리하기 위한 도구다.
이미지 스타일, 인물의 특징, 배경, 조명, 구도 같은 요소를 조합해 프롬프트를 만들 수 있도록 구성했다.
하지만 프롬프트 템플릿을 만드는 일은 생각보다 많은 시간이 필요했다.
문장을 하나 추가한다고 끝나는 것이 아니었다.
템플릿을 작성하고, ComfyUI에서 이미지를 생성하고, 결과를 비교한 뒤 다시 프롬프트를 수정해야 했다.
예를 들어 조명을 표현하는 문장을 하나 바꾸더라도 실제 이미지에서 어떤 변화가 생기는지 확인해야 했다.
인물의 표정이나 카메라 구도도 마찬가지였다.
결국 좋은 템플릿 하나를 만들기 위해서는 수많은 반복 테스트가 필요했다.
이전 환경에서는 이 과정이 부담스러웠다. 이미지 한 장을 생성하는 데 시간이 오래 걸리면 프롬프트를 조금씩 바꿔가며 비교하는 작업을 계속하기 어려웠다.
하지만 이번에는 달랐다.
전체 시스템이 빠르고 가볍게 정리된 덕분에 템플릿을 수정하고 결과를 확인하는 과정이 훨씬 빨라졌다.
모델도 두 개로 정리되어 있었기 때문에 각 모델에 맞는 프롬프트 구조를 집중적으로 연구할 수 있었다.
저장 형식도 WebP로 바꿔두었기 때문에 테스트 이미지가 많이 생겨도 용량 부담이 크지 않았다.
예전 같았으면 엄두도 내지 못했을 반복 작업을 이제는 편하게 진행할 수 있었다.
나만의 ComfyUI 시스템이 완성되다
현재 내 ComfyUI 시스템은 처음보다 훨씬 단순하다.
사용하는 운영체제는 우분투다.
이미지 결과물은 WebP로 저장한다.
애니메이션 스타일은 CoffeeMix_Anima를 사용하고, 그 외의 이미지는 Krea 2 수정 버전으로 생성한다.
프롬프트는 직접 만든 PromptBuilder를 이용해 구성한다.
영상 관련 모델과 워크플로우, 사용하지 않는 체크포인트와 노드는 대부분 삭제했다.
겉으로 보기에는 처음보다 기능이 줄어든 것처럼 보일 수 있다.
하지만 실제로는 지금의 시스템이 훨씬 편하고 효율적이다.
필요한 기능만 남아 있어 관리가 쉽고, 어떤 모델을 사용할지 고민할 필요도 없다.
이미지 생성 속도와 저장 공간에 대한 부담도 줄었다.
무엇보다 중요한 점은 이 시스템이 다른 사람의 추천 목록을 그대로 따라 만든 환경이 아니라는 것이다.
직접 사용해보고, 불편한 부분을 찾고, 필요 없는 것을 삭제하면서 만든 나만의 환경이다.
연재를 마치며
돌아보면 꽤 멀리 왔다.
맥북에어 M5 16GB에서 “이 환경에서도 ComfyUI가 돌아갈까?”라고 걱정하며 시작했다.
처음에는 GGUF 모델을 알게 됐고, 제한된 메모리 안에서 이미지를 생성하는 방법을 찾았다.
Anima를 사용하면서 약 30초 만에 이미지가 생성되는 경험도 했다.
그 이후 더 빠른 환경을 찾아 윈도우 PC로 이동했고, 최종적으로는 우분투 데스크탑에 정착했다.
그 과정에서 정말 많은 모델을 설치했다.
새로운 모델을 발견할 때마다 테스트했고, 결과가 마음에 들지 않거나 사용 빈도가 낮은 모델은 다시 삭제했다.
영상 생성에도 도전했지만, 현재 내 작업에는 필요하지 않다고 판단해 과감히 정리했다.
결국 남은 것은 두 개의 모델이었다.
애니 스타일을 위한 CoffeeMix_Anima.
그리고 그 외의 작업을 위한 Krea 2 수정 버전.
여기에 빠르고 가벼운 우분투 기반의 ComfyUI 환경과 직접 다듬은 PromptBuilder가 더해졌다.
처음부터 고성능 장비와 완벽한 시스템으로 시작한 것은 아니었다.
사용할 수 있는 환경에서 시작했고, 문제가 생길 때마다 하나씩 해결했다.
속도가 느리면 더 가벼운 모델을 찾았고, 성능이 필요해지면 PC로 이동했다.
저장 공간이 부족해지자 webp를 사용했고, 기능이 너무 많아지자 사용하지 않는 모델과 워크플로우를 삭제했다.
그렇게 부딪히고, 바꾸고, 덜어내면서 내 손에 맞는 시스템을 만들었다.
이 연재를 시작할 때는 이런 생각을 했다.
“내 환경에서는 ComfyUI를 제대로 사용하기 어려울 것 같다.”
하지만 지금은 생각이 바뀌었다.
내 환경에서 안 되는 것이 아니라, 내 환경에 맞는 방법을 아직 찾지 못했을 뿐이었다.
꼭 최고 성능의 장비가 있어야 시작할 수 있는 것은 아니다.
처음부터 완벽한 워크플로우를 만들 필요도 없다.
지금 사용할 수 있는 환경에서 시작하고, 하나씩 바꿔가다 보면 결국 자신에게 맞는 방식이 만들어진다.
이 연재가 비슷한 고민을 하는 초보자에게 작은 참고가 되었으면 좋겠다.
맥북이나 저사양 PC에서 시작할지 고민하는 사람, 어떤 모델을 선택해야 할지 막막한 사람, ComfyUI 환경을 어떻게 정리해야 할지 고민하는 사람에게 이 과정이 조금이나마 도움이 되기를 바란다.