AI Image Upscaling: When It's Magic and When It's Garbage

지난 화요일, 한 고객이 자신의 할아버지의 유일한 기록된 인터뷰가 담긴 2008년 유튜브 비디오의 480p 스크린샷을 저에게 보냈습니다. 그들은 그의 추모식에 맞춰 24x36 인치로 인쇄하기를 원했습니다. 저는 14년 동안 전문 사진 복원 전문가로 활동해왔으며, 이런 상황을 수백 번 목격했습니다. 가족들은 항상 같은 질문을 합니다: "AI가 이걸 고칠 수 있나요?" 때때로 답은 '네'입니다. 때때로 답은 '아니오'입니다. 이 차이를 아는 것이 사랑하는 사람에 대한 마지막 기억을 망치는 쓰레기를 배달하는 것을 막아주었습니다.

저는 마커스 첸이며, 포틀랜드에서 연간 약 300개의 프로젝트를 다루는 부티크 사진 복원 스튜디오를 운영하고 있습니다. 제 작업의 절반은 현재 AI 업스케일링 도구와 관련되어 있으며, 지난 3년 동안 23가지 다양한 솔루션을 테스트했습니다. 다양한 AI 업스케일링 서비스와 소프트웨어 라이선스에 약 8,400달러를 썼고, 이러한 도구들이 기적을 일으킬 때와 비싼 실망을 초래할 때를 정확히 배웠습니다. 이는 이론적이지 않습니다—제가 공유하는 각각의 예는 돈과 감정이 걸려 있는 실제 고객 작업에서 왔습니다.

AI가 해결할 수 없는 물리학 문제 (하지만 해결할 수 있다고 가장함)

AI 업스케일링에 대해 누구도 말해주지 않는 것이 있습니다: 본질적으로 존재하지 않는 정보를 만들어 내고 있다는 것입니다. 500x500 픽셀 이미지를 가지고 2000x2000으로 만들고 싶다면, AI에게 75%의 픽셀을 만들어달라고 요청하는 것입니다. 그건 향상이 아니라—수백만 개의 다른 이미지에서 학습한 패턴을 바탕으로 한 교육된 추측입니다.

작년에 이와 관련해 통제된 실험을 진행했습니다. 제가 직접 촬영한 전문 6000x4000 픽셀 사진을 1000x667 픽셀로 다운스케일한 후, 5개의 다른 AI 업스케일러를 사용하여 원래 해상도로 복원했습니다. 결과는 통찰력을 주었습니다. Topaz Gigapixel AI는 섬세한 직물 텍스처에서 약 68%의 세부 정보를 복구했습니다. Upscayl(오픈 소스 옵션)은 약 52%를 복구했습니다. Adobe의 Super Resolution은 71%에 도달했지만 배경의 보케에서 이상한 아티팩트를 도입했습니다. 그들 중 누구도 원본을 완벽하게 복원할 수 없었습니다—왜냐하면 그 정보가 사라졌기 때문입니다.

내가 찾은 최고의 비유는 다음과 같습니다: 누군가 전화를 통해 그림을 설명한 다음 재현해 달라고 요청한다고 상상해보세요. 일반적인 구성은 맞을 수 있지만, 색상 팔레트는 비슷하고, 주요 요소 몇 개는 맞출 수 있지만, 정확한 붓터치나 미세한 색상 전환, 작가의 특정 기법을 재현할 수는 없습니다. AI 업스케일링도 같은 방식으로 작동합니다. 유사한 이미지가 일반적으로 어떻게 보이는지를 바탕으로 최선의 추측을 하고 있습니다.

이것은 중요합니다. 왜냐하면 고객들은 종종 CSI 수준의 "강화" 마법을 기대하고 나에게 옵니다. 그들은 흔들린 얼굴이 선명하게 변하는 AI 업스케일링 데모를 유튜브에서 본 적이 있습니다. 그들이 보지 못하는 것은 그 데모가 모든 것이 완벽하게 맞아떨어지는 5% 사례를 신중하게 선택한 것입니다. 원본 이미지에는 충분한 정보가 있고 AI의 훈련 데이터는 유사한 주제를 포함하고 있으며 조명 조건은 알고리즘이 인식하는 패턴과 일치합니다. 나머지 95%의 시도는? "수용 가능"에서 "기괴한 계곡의 악몽"까지 다양합니다.

AI 업스케일링이 실제로 효과가 있는 경우: 적정 지점

수백 개의 이미지를 처리한 후, AI 업스케일링이 진정으로 인상적인 결과를 제공하는 정확한 조건을 파악했습니다. 첫째, 소스 이미지는 짧은 변 기준으로 최소 800픽셀이어야 합니다. 그보다 작은 경우, 너무 많은 것을 요청하는 것입니다. 저는 600픽셀인 이미지를 성공적으로 업스케일링했지만, 성공률은 약 80%에서 35%로 떨어집니다.

"AI 업스케일링은 향상이 아니라—교육된 추측입니다. 당신은 소프트웨어에게 처음부터 존재하지 않았던 75%의 픽셀을 발명해달라고 요청하고 있습니다."

둘째, 이미지는 적절한 조명과 대비가 필요합니다. 저는 최근에 밝은 햇빛 아래에서 촬영된 고전 자동차의 1200x800 픽셀 사진을 업스케일링했습니다. AI는 크롬 디테일, 페인트 텍스처, 심지어 반사 패턴을 놀라울 정도로 정확하게 재구성했습니다. 왜냐하면 AI 모델의 훈련 데이터에는 수백만 개의 잘 조명된 자동차 사진이 포함되었기 때문입니다. 알고리즘은 수천 개의 유사한 크롬 범퍼를 보았고 어떤 디테일을 추가해야 할지 알고 있었습니다.

같은 시대의 어두운 실내 사진과 비교해보세요. 같은 해상도지만, AI는 저조도 사진에 대해서는 작업할 정보가 적어 알고리즘이 혼란스러워했습니다. 저는 이상한 매끄러움 아티팩트와 플라스틱처럼 보이는 발명된 디테일을 얻었습니다. 고객은 이를 거부했고, 저는 180달러를 환불해야 했습니다.

셋째—그리고 이것은 매우 중요합니다—주제는 일반적이어야 합니다. 얼굴, 건물, 풍경, 자동차, 애완동물: AI 모델이 수백만 개의 예를 보았기 때문에 잘 통합니다. 저는 2005년의 누군가의 골든 리트리버 사진(900x600 픽셀)을 업스케일링했는데, 그 결과는 놀라웠습니다. AI는 개 털이 어떻게 보여야 하는지, 젖은 코에서 빛이 어떻게 반사되는지, 풀의 전형적인 질감을 알고 있었습니다. 자연스럽게 보이는 디테일로 채워졌습니다.

하지만 한 고객이 1960년대 희귀 산업 기계의 1000x750 픽셀 사진을 할아버지의 공장에서 가져왔을 때는? 재앙이었습니다. AI는 이 특정 장비가 어떻게 보여야 하는지에 대한 참고 자료가 없었습니다. 기술적으로 그럴듯하지만 사실적으로 잘못된 디테일을 발명했습니다. 나사못이 매끄러운 표면이 있어야 할 곳에 나타났습니다. 패널 라인이 불가능한 장소에 추가되었습니다. 이 기계를 30년 동안 다뤄온 고객은 즉시 오류를 발견했습니다.

기괴한 계곡: AI가 불쾌하게 변하는 경우

저는 "AI 악몽"이라는 폴더를 유지하고 있으며, 여기에 잘못된 업스케일링의 47가지 예가 있습니다. 이것들은 단순히 나쁜 결과가 아니라, 고객에게 송부하기 전에 잡아낸 것이어서 기쁜 불쾌한 이미지입니다. 가장 흔한 실패 모드는? 얼굴입니다.

AI 얼굴 업스케일링은 얼굴 재구성이라는 프로세스를 통해 작동합니다. 알고리즘은 얼굴을 감지하고, 주요 랜드마크(눈, 코, 입)를 식별한 후, 훈련 데이터에 기반하여 새로운 디테일을 합성합니다. 제대로 작동할 때는 놀랍습니다. 저는 1990년대의 600x400 픽셀 결혼 사진을 복원한 적이 있는데, 신부의 얼굴이 2400x1600에서 선명하고 자연스럽게 나왔습니다.

하지만 실패할 때는 엄청나게 실패합니다. 저는 한 그룹 사진을 업스케일링했는데, 한 사람이 카메라에서 약간 몸을 돌리고 있었습니다. AI는 부분적인 얼굴을 "수정"하려고 하다가 그 사람을 다른 인간처럼 보이게 하는 특징을 발명했습니다. 눈 간격이 변하고, 코 모양이 변형되었습니다. 고객의 자매는 결과를 보고 "그건 나 아니야."라고 말했습니다. 그녀는 맞았습니다—AI는 본질적으로 새로운 사람을 만들어 버렸습니다.

문제는 오래된 사진이나 특이한 각도에서 심화됩니다. 저는 누군가가 아래에서 촬영된 1970년대 사진을 처리했는데, 자연스러운 원근 왜곡을 만들어냈습니다. AI는 주로 정면 초상화에 대해 훈련되었기 때문에 이 왜곡을 "수정"하려고 했습니다. 결과는 피카소 그림처럼 보였습니다—특징이 잘못된 곳에 있거나 해부학을 무시하는 비율을 보였습니다. 저는 고객에게 때때로 원본 흐릿한 버전이 AI로 강화된 괴물보다 낫다고 설명해야 했습니다.

제가 세운 규칙은 다음과 같습니다: 원본의 얼굴이 80x80 픽셀보다 작다면 AI로 업스케일링하지 않습니다. 대신 전통적인 보간 방법을 사용합니다. 네, 흐리게 남지만 흐리게 하는 것이 잘못된 것보다 낫습니다. 저는 400달러의 실수 후에 이를 배웠는데, 업스케일링된 가족 초상화를 제공했더니 할머니는 "그건 내 남편처럼 보이지 않아."라고 하며 전시를 거부했습니다. AI는 그의 얼굴features를 미세하게 변경했고, 그녀는 즉시 알아차렸습니다.

도구 환경: 2026년에 실제로 효과가 있는 것

저는 23가지 다양한 AI 업스케일링 솔루션을 테스트했으며, 그 기준입니다.