처음부터 ComfyUI를 알고 시작한 건 아니었다.
사실 나는 ComfyUI라는 것도 잘 몰랐다.
AI 이미지 생성이라고 하면 그냥 ChatGPT에서 이미지를 만들거나, 사람들이 말하는 나노바나나 같은 것 정도만 알고 있었다.
“이걸 꼭 유료 서비스에서만 해야 하나?”
“내 컴퓨터에서 직접 돌리는 방법은 없을까?”
“로컬에서 AI 이미지를 만들 수 있나?”
그래서 자료를 찾아보기 시작했다.
처음에는 ComfyUI를 찾으려고 검색한 것도 아니었다.
그냥 AI 이미지 생성, 로컬 이미지 생성, 맥북 AI 이미지 생성 같은 식으로 찾아봤다.
그러다가 알게 된 것이 Stable Diffusion, ComfyUI 같은 도구들이었다.
그중에서도 ComfyUI라는 이름이 자주 보였다.
처음에는 이름만 봐서는 뭔지도 몰랐다.
그냥 사람들이 많이 쓰는 것 같고, 워크플로우를 공유한다는 말이 많아서 관심이 갔다.
내가 사용하는 기기는 맥북에어 M5, 메모리 16GB 모델이다.
고성능 데스크탑도 아니고, 외장 GPU가 있는 것도 아니다.
그래서 제일 먼저 든 생각은 이거였다.
“내 맥북에서 이게 가능할까?”
처음에는 포터블 데스크탑도 고민했다.
ComfyUI나 Stable Diffusion 관련 글을 보다 보면 NVIDIA 그래픽카드, VRAM, RTX 같은 말이 계속 나온다.
이런 글을 보고 있으면 맥북에어로는 안 될 것 같다는 생각이 든다.
첫 번째는 유료 이미지 생성 서비스다.
ChatGPT 이미지 생성, 나노바나나 같은 방식이다.
설치할 필요가 없고, 그냥 웹에서 바로 쓸 수 있다. 초보에게는 가장 쉽다.
장점은 편하다는 것이다.
모델 파일을 받을 필요도 없고, GPU나 메모리 걱정도 별로 없다. 프롬프트만 입력하면 바로 결과를 볼 수 있다.
단점은 내가 마음대로 세팅하기 어렵다는 점이다.
리고 많이 쓰려면 비용도 생각해야 한다.
두 번째는 클라우드 GPU 서비스다.
RunPod, Paperspace, Google Colab 같은 곳을 찾아보게 됐다.
내 컴퓨터가 약해도 클라우드에 있는 GPU를 빌려서 ComfyUI를 돌리는 방식이다.
장점은 성능이다.
내 맥북보다 훨씬 빠른 GPU를 쓸 수 있고, 모델도 더 무거운 것을 시도해볼 수 있다.
단점은 역시 비용과 세팅이다.
세 번째는 맥용 로컬 앱이다.
맥에서 쓸 수 있는 앱을 찾다 보니 Drawing Things라는 앱도 알게 됐다.
Drawing Things는 맥이나 아이패드에서 Stable Diffusion 계열 이미지 생성을 할 수 있는 앱으로 보였다.
처음에는 ComfyUI보다 오히려 이쪽이 더 쉬워 보였다.
앱처럼 설치해서 쓰는 방식이고, 노드나 워크플로우를 몰라도 시작할 수 있을 것 같았다.
맥북에서 로컬로 이미지를 만들어보고 싶은 초보 입장에서는 꽤 끌리는 선택지였다.
장점은 맥 사용자 입장에서 접근이 쉽다는 점이다.
앱을 설치해서 바로 시작할 수 있어 보였고, 복잡한 노드 구조를 몰라도 이미지를 만들어볼 수 있을 것 같았다.
단점은 내가 원하는 방향과 조금 달랐다는 점이다.
나는 단순히 이미지를 한 장 만드는 것보다, 사람들이 공유하는 워크플로우를 열어보고 수정해보는 쪽에 관심이 갔다.
네 번째는 로컬에서 ComfyUI를 실행하는 방식이다.
내 컴퓨터에 ComfyUI를 설치하고 직접 돌리는 방식이다.
처음에는 이게 가능한지도 몰랐다.
장점은 내가 직접 환경을 만질 수 있다는 것이다.
모델을 넣고, 워크플로우를 바꾸고, 프롬프트를 수정하면서 하나씩 배울 수 있다.
단점은 내 컴퓨터 성능을 그대로 받는다는 것이다.
맥북에어 M5 16GB에서 가능하더라도 속도가 느릴 수 있고, 모델 선택에도 제한이 있을 수 있다.
아무튼 나는 일단 ComfyUI를 로컬로 시도해보기로 했다.
바로 장비를 사거나 클라우드 비용을 쓰기 전에, 내가 가진 맥북에어에서 어디까지 가능한지 확인해보고 싶었다.
포터블과 Desktop이 있었는데 일단 부하가 있더라도 뭔지을 알기 위해 선택한 건 ComfyUI Desktop이었다.
ComfyUI는 직접 설치해서 실행하는 방법도 있지만, 초보자인 내 입장에서는 처음부터 터미널 명령어를 치고 환경을 맞추는 것이 부담스러웠다.
설치하다가 Python, 가상환경, 패키지 같은 것에서 막히면 시작도 하기 전에 포기할 것 같았다.
그래서 설치와 실행이 비교적 단순해 보이는 ComfyUI Desktop으로 시작했다.
설치는 했지만, 막상 뭘 해야 하는지 몰랐다.
그래서 이것저것 클릭해보기 시작했다.
처음부터 계획이 있었던 건 아니고, 그냥 화면을 둘러보면서 눌러보는 수준이었다.
그러다가 기본 템플릿을 발견했다.
템플릿 목록에는 여러 예시가 있었고, 나는 설명을 꼼꼼히 읽기보다 이미지 영역을 먼저 봤다.
그중에서 그냥 눈에 들어온 것이 Z Image Turbo였다.
썸네일이 좋아 보였고, 결과 이미지도 괜찮아 보였다.
그래서 “일단 이걸로 해보자”는 생각으로 다운로드를 받고 실행했다.
하지만 바로 이미지가 만들어지지는 않았다.
실행해보니 노드 오류가 나왔다.
어떤 노드가 없거나, 필요한 모델이 없거나, 설정이 맞지 않는다는 식의 오류였다.
다행히 ComfyUI에서는 오류를 그냥 보여주고 끝내는 것이 아니라, 어떤 부분이 문제인지 비교적 친절하게 표시해줬다.
필요한 항목이 있으면 다운로드할 수 있는 안내도 나왔다.
초보 입장에서는 그래도 막막했지만, 완전히 손을 놓을 정도는 아니었다.
오류 메시지를 보고 하나씩 다운로드하거나 설정을 맞춰가면서 다시 실행해봤다.
그런데 이번에는 속도가 문제였다.
이미지 생성을 눌렀는데 5분이 지나도 계속 생성 중이었다.
작업이 멈춘 건지, 그냥 오래 걸리는 건지 처음에는 알 수 없었다.
맥북을 확인해보니 GPU 사용률이 거의 100%까지 올라가 있었고, RAM도 많이 사용하고 있었다.
그제야 “아, 이게 그냥 가볍게 돌아가는 작업이 아니구나”라는 생각이 들었다.
그래서 다시 찾아보기 시작했다.
왜 이렇게 오래 걸리는지, 내 맥북에서 왜 이렇게 힘들어하는지 자료를 찾아봤다.
찾아보니 원인 중 하나는 모델의 용량과 방식이었다.
AI 이미지 생성에서는 모델 파일이 핵심인데, 이 모델이 크면 클수록 더 많은 메모리와 연산 성능이 필요했다.
내가 처음 선택한 템플릿이 좋아 보여도, 그 템플릿이 사용하는 모델이 내 맥북에어 16GB에서 감당하기 어려우면 속도가 매우 느려질 수밖에 없었다.
여기서 처음 알게 된 것이 모델의 “용량”과 “형식”이었다.
단순히 좋은 모델을 받는다고 끝나는 게 아니었다.
내 컴퓨터에서 돌릴 수 있는 크기인지, 메모리에 올라갈 수 있는지, 맥 환경에서 효율적으로 실행되는 방식인지도 봐야 했다.
모델 용량이 왜 중요한가?
AI 이미지 생성 모델은 이미지 만드는 방법을 배운 큰 파일이라고 생각하면 된다.
이 파일이 클수록 더 많은 정보를 담고 있을 가능성이 있지만, 그만큼 실행할 때 더 많은 메모리와 연산 성능이 필요하다.
예를 들어 고성능 데스크탑에서는 괜찮은 모델도, 맥북에어 16GB에서는 너무 무거울 수 있다.
모델을 불러오는 데 RAM을 많이 쓰고, 이미지를 생성할 때 GPU도 계속 높은 사용률로 돌아간다.
그래서 초보 입장에서는 “좋은 모델”보다 먼저 “내 컴퓨터에서 돌아가는 모델”을 찾는 것이 중요했다.
이 문제를 해결하기 위해 찾아보게 된 것이 GGUF였다.
GGUF는 모델을 더 가볍게, 또는 특정 환경에서 돌리기 좋게 만든 형식으로 이해했다.
처음부터 GGUF를 알고 있었던 건 아니고, Z Image Turbo를 실행하다가 속도와 메모리 문제를 겪으면서 알게 된 선택지였다.
맥북에어 M5 16GB처럼 자원이 제한적인 환경에서는 무거운 모델을 그대로 쓰기보다, GGUF 같은 형식을 활용하는 것이 현실적인 방법처럼 보였다.