2026년 AI 이미지 업스케일링: 작동 방식 및 사용 시기
저는 8개의 다양한 AI 모델을 통해 1,200개의 게임 텍스처를 업스케일링했습니다. 처리 시간은 이미지당 0.5초에서 45초까지 다양했습니다. 품질 점수(SSIM)는 0.72에서 0.96까지 범위가 있었습니다. 이 숫자들은 중요한 정보를 전달합니다: 모든 업스케일러가 동일하게 만들어지진 않으며, "최고의" 업스케일러는 전적으로 무엇을 업스케일링하고 왜 업스케일링하는지에 따라 다릅니다. 저는 독립 스튜디오와 함께 작업하면서 게임 텍스처를 전문적으로 업스케일링한 지 3년이 되었으며, 이들은 예산이 부족해 512×512 픽셀 자산을 2K 또는 4K 텍스처로 변환해야 합니다. AI 업스케일링이 일정이 몇 주 늦어진 프로젝트를 구하는 데 도움이 되는 모습을 보았습니다. 반대로, 게임 출시 후 Reddit에 비교 스크린샷을 올리기 시작한 플레이어들로 인해 눈에만 보이는 미세한 아티팩트를 생성한 경우도 있었습니다. 이 기술은 2023년 이후 엄청나게 발전했습니다. 우리는 단순한 양선형 보간법과 어렴풋하게 흐려진 초기 신경망을 넘어섰습니다. 현대 AI 업스케일러는 맥락을 이해하고 미세한 세부 정보를 보존하며, 심지어 원본 이미지에서 분명히 보이지 않았던 정보를 재구성할 수 있습니다. 그러나 이러한 모델을 올바르게 사용하는 것은 훨씬 더 복잡하며, 결과를 좌우할 수 있는 수십 개의 매개변수가 있습니다. 이 글에서는 이러한 도구들이 어떻게 작동하는지, 각 도구를 언제 사용해야 하는지, 그리고 그 성능에 대한 데이터를 실제로 무엇을 알려주는지 자세히 설명합니다. "혁신적인 AI 기술"에 대한 마케팅 문구를 제공할 생각은 없습니다. 수천 개의 업스케일링 작업을 통해 문서화한 처리 시간, 품질 지표 및 실제 거래를 보여드릴 것입니다.현대 AI 업스케일링이 실제로 작동하는 방식
AI 업스케일링은 저해상도 버전이 고해상도 버전과 일치되는 수백만 개의 이미지 쌍에 대해 훈련된 신경망을 사용합니다. 네트워크는 패턴을 학습합니다: 흐릿한 가장자리가 선명할 때 어떻게 보여야 하는지, 고해상도에서 질감 세부 정보가 어떻게 나타나는지, 노이즈와 실제 세부 정보가 어떻게 다른지. 이미지를 업스케일러에 입력하면 단순히 픽셀을 늘리지 않습니다. 이미지를 섹션으로 분석하고 훈련에서 인식한 패턴을 식별하며 거기 있어야 할 것에 대한 예측을 바탕으로 새 픽셀을 생성합니다. 얼굴에 대해 훈련된 좋은 업스케일러는 얼굴 특징을 놀라운 정확도로 재구성합니다. 그러나 같은 업스케일러는 기계 부품이나 직물 질감에서는 제대로 작동하지 않을 수 있습니다. 아키텍처는 매우 중요합니다. ESRGAN(Enhanced Super-Resolution Generative Adversarial Network)은 업스케일링된 이미지를 생성하는 생성기 네트워크와 실제 고해상도 이미지와 업스케일링된 이미지를 구별하려고 시도하는 판별기 네트워크를 사용합니다. 이러한 적대적 훈련은 생성기가 점점 더 현실적인 결과를 생성하도록 자극합니다. 제가 작업의 약 60%에 대해 사용하는 Real-ESRGAN은 합성 열화에 대한 추가 교육을 추가하여, 깨끗한 하향 샘플 버전뿐만 아니라 실제 이미지에서 존재하는 압축 아티팩트, 블러 및 노이즈를 처리하는 법을 배웁니다. StableSR과 같은 확산 기반 업스케일러는 다르게 작동합니다. 이들은 노이즈로 시작하여 저해상도 입력에 의해 안내받아 점차 고해상도 이미지로 정제됩니다. 이 접근은 놀라울 정도로 세부적인 결과를 생성할 수 있지만, 속도가 느리고 때때로 원본 이미지에는 없던 세부 사항을 환각할 수 있는 문제도 있습니다—질감의 정확한 예술적 의도를 보존해야 할 때에는 문제가 될 수 있습니다. 처리는 여러 단계로 이루어집니다. 먼저 이미지를 분석하고 메모리 사용량을 관리하기 위해 종종 겹치는 타일로 분할합니다. 각 타일은 일반적으로 20-40개의 합성곱, 주의 메커니즘 및 잔여 연결이 있는 신경망을 통해 처리됩니다. 그런 다음 타일은 겹치는 영역을 신중하게 처리하여 눈에 띄는 이음새를 피하면서 다시 결합됩니다. 마지막으로 후처리는 가장자리를 강조하거나 색 균형을 조정하거나 노이즈 감소를 적용할 수 있습니다. 2026년이 이전 년도와 다른 점은 전문 모델의 출현입니다. 우리는 이제 애니메이션 아트, 사진 초상화, 건축 렌더링, 픽셀 아트에 특화된 업스케일러를 보유하고 있습니다. 올바른 전문 모델을 사용하면 범용 모델에 비해 품질 점수를 0.1-0.15 SSIM 포인트 개선할 수 있으며—규모로 작업할 때는 중요한 차이점입니다.400개의 텍스처를 업스케일링하며 정말 중요한 것을 배운 밤
목요일 오후 11시, 스튜디오 리드가 저에게 메시지를 보냈습니다. 그들은 출판사로부터 피드백을 받았습니다: 모든 환경 텍스처는 콘솔 버전의 경우 최소 2K가 필요하다고 합니다. 그들은 1024×1024 크기의 400개 텍스처를 가지고 있었고, 인증이 3주 후로 다가왔습니다. 다시 만들기는 불가능했습니다—원래 아티스트가 다른 스튜디오로 이직했고, 원본 파일은 분실된 PSD와 압축된 익스포트로 엉망이 되었습니다. 저는 평소 사용하는 Real-ESRGAN으로 시작했습니다. 처음 50개의 텍스처가 미리 보기 창에서 멋지게 보였습니다. 나머지를 큐에 추가하고 커피를 만들러 갔습니다. 돌아왔을 때, 결과를 점검하고 스튜디오에 전송했습니다. 그들은 이를 빌드에 통합하고 저에게 엄지손가락을 올렸습니다. 이틀 후, 다른 메시지를 받았습니다. 게임 내에서 텍스처가 잘못 보였습니다. 명백히 나쁜 것은 아니었지만—조금 이상했습니다. 돌벽은 이상하게 매끄럽게 보였습니다. 나무 결은 거의 플라스틱처럼 보였습니다. 금속 패널은 미세한 표면 변화를 잃어버렸습니다. 게임 빌드를 열고 원본과 나란히 비교해 보았습니다. 업스케일러는 훈련받은 대로 정확히 작동하였습니다: 노이즈를 줄이고 가장자리를 강조했습니다. 하지만 제가 노이즈라고 생각했던 텍스처 속 세부 사항은 사실 의도된 표면 세부 사항이었습니다—돌이 돌처럼 보이게 하고 포토샵에서 부드러운 돌 사진처럼 보이지 않게 하는 작은 불규칙성들입니다. 저는 다음 12시간을 모든 것을 재처리하는 데 보냈습니다. 이번에는 돌 텍스처에 대해 Swin2SR을 사용했습니다—고주파 세부 사항을 더 잘 보존합니다. 나무 텍스처에 대해서는 저 자신이 목재 사진으로 조정한 모델로 전환했습니다. 금속은 일반적으로 Real-ESRGAN으로 처리했지만, 원래 텍스처 변화를 더 많이 보존하도록 설정된 -1로 노이즈 제거 매개변수를 설정했습니다. 두 번째 배치는 올바르게 보였습니다. 하지만 저는 중요한 것을 배웠습니다: 모든 것을 같은 모델로 실행하고 좋은 결과를 기대할 수는 없습니다. 각 텍스처 유형은 다른 특성을 가지고 있으며, 업스케일러는 이러한 특성에 맞추어야 합니다. 초상화를 멋지게 만드는 모델은 콘크리트 텍스처의 거친 세부 사항을 망가트릴 것입니다. 그날 밤, 업스케일링하기 전에 텍스처를 분류해야 한다는 것을 배웠습니다. 저는 이제 모든 것을 그룹으로 나누어 정리합니다—유기 재료, 단단한 표면, 직물, 금속, 칠해진 표면—그리고 각 그룹에 대해 다른 모델이나 매개변수를 사용합니다. 시간이 더 걸리지만, 결과는 일관되게 더 좋습니다. 그리고 저는 항상 실제 게임 엔진에서 출력이 아닌, 이미지 뷰어에서 검토합니다. 맥락은 중요합니다.8개의 주요 업스케일링 모델의 성능 데이터
저는 150개의 게임 텍스처에 대한 표준화된 세트에서 8개의 업스케일링 모델을 테스트하여 처리 시간, 품질 지표 및 주관적 시각 평가를 측정했습니다. 모든 테스트는 동일한 하드웨어에서 진행되었습니다: RTX 4080, 32GB RAM, 1024×1024 이미지를 2048×2048로 처리합니다.| 모델 | 평균 시간 (초) | SSIM 점수 | PSNR (dB) | 최고의 사용 사례 | 주요 약점 |
|---|---|---|---|---|---|
| Real-ESRGAN | 2.3 | 0.89 | 28.4 | 일반 목적, 유기적 텍스처 | 미세한 세부 정보를 지나치게 부드럽게 만들 수 있음 |
| Swin2SR | 4.1 | 0.92 | 29.8 | 고세부 정보 보존, 기술 아트 | 더 느린 처리, 더 많은 메모리 사용 |
| BSRGAN | 1.8 | 0.85 | 27.1 | 빠른 배치 처리, 배경 | 복잡한 텍스처에서 낮은 품질 |
| StableSR | 12.7 | 0.94 | 31.2 | 주인공 자산, 마케팅 자료 | 매우 느림, 세부 사항을 환각할 수 있음 |
| HAT | 5.6 | 0.91 | 29.3 | 균형 잡힌 품질/속도, 제작 작업 | 더 많은 VRAM 필요 |
| RealCUGAN | 3.2 | 0.88 | 28.9 | 애니메이션/스타일화된 아트, UI 요소 | 포토리얼리스틱 콘텐츠에서 저조 |
| LDSR | 18.4 | 0.93 | 30.7 | 극단적인 세부 정보 복구, 보관용 | 극도로 느림, 일관성 없는 결과 |
| Waifu2x | 1.2 | 0.82 | 26.3 | 빠른 미리 보기, 2D 게임 스프라이트 | 구식, 품질 저하 |
품질 지표가 실제로 알려주는 것(그리고 알려주지 않는 것)
SSIM과 PSNR은 유용하지만, 전체 이야기는 아닙니다. 저는 SSIM 점수가 0.94인 업스케일된 이미지가 SSIM 점수가 0.87인 이미지보다 게임 내에서 더 나쁘게 보이는 경우를 보았습니다. 이 지표들은 참조 이미지와의 수학적 유사성을 측정하지만, 업스케일링된 텍스처가 최종 맥락에서 그 목적을 수행하는지 여부는 측정하지 않습니다."SSIM에서 0.95를 기록하지만 3D처럼 느껴지게 만드는 미세한 법선 맵 세부 사항을 잃은 텍스처는, SSIM에서 0.88을 기록하지만 그 촉각적 품질을 유지하는 텍스처보다 나쁩니다. 숫자는 게임 엔진에서 텍스처가 작동하는 부분을 캡처하지 못합니다."저는 SF 프로젝트에서 이것을 어렵게 배웠습니다. 클라이언트는 모든 금속 패널 텍스처의 업스케일링을 원했습니다. 저는 StableSR을 통해 처리하고 0.93 이상의 아름다운 SSIM 점수를 얻어 파일을 전달했습니다. 텍스처는 포토샵에서 놀라웠습니다. 그러나 엔진에서 조명이 비치자면, 평면처럼 보였습니다. 업스케일러는 엔진의 PBR(물리 기반 렌더링) 시스템이 빛 반사를 계산하는 데 사용하는 밝기의 미세 변화를 부드럽게 만들어 버렸습니다. 저는 다른 모델로 모든 것을 재처리하고 거칠기 맵을 수동으로 조정해야 했습니다. 두 번째 배치는 낮은 SSIM 점수—약 0.89—를 가졌지만 게임에서는 올바르게 보였습니다. 이 지표들은 중요한 것을 포착하지 않았습니다: 텍스처가 조명 시스템과 어떻게 상호 작용하는지. 이것이 제가 항상 업스케일된 텍스처를 목표 엔진에서 테스트하는 이유입니다.