I Restored 200 Damaged Photos with AI — Some Results Were Stunning, Others Terrifying

# AI로 손상된 200장의 사진을 복원했습니다 — 일부 결과는 놀라웠고, 다른 결과는 끔찍했습니다

상자를 열면 모든 것이 바뀝니다

첸씨의 손은 그녀가 내 책상 위에 신발 상자를 놓을 때 떨렸다. 그 안에는 세월에 의해 노랗게 변색된 티슈 페이퍼에 싸여진 한 장의 사진이 있었다. 물이 아래에서 스며들어 하단 삼분의 일은 갈색과 회색의 추상적인 흐림으로 변해 있었다. 상단 부분에는 1962년 결혼식 날의 젊은 커플이 담겨 있었다 — 그녀는 검소한 흰 드레스를 입고, 그는 아마 그의 유일한 좋은 정장일 어두운 슈트를 입고 있었다.

"이건 우리 결혼식 사진이 유일해요," 그녀가 조용히 말했다. "3년 전에 지하실이 침수되었어요. 해롤드가 세상을 떠난 지난달이 되어서야 이 상자를 찾았어요."

압박감 없죠?

그 순간 — 단지 82세의 미망인이 남편의 얼굴을 한 번 더 선명하게 보고 싶어하는 모습 — 내가 이 부업을 시작한 이유를 선명하게 해주었다. 하지만 이는 또한 200개의 복원 프로젝트를 통해 나를 데려갈 여행의 시작을 의미했다. 각 프로젝트는 AI가 할 수 있는 것, 절대 해서는 안 되는 것, 그리고 "복원"과 "제작" 사이의 경계가 위험할 정도로 불분명해지는 것이 무엇인지에 대해 새로운 것을 가르쳐 주었다.

나는 전통적인 기술과 AI 기반 도구의 조합을 사용하여 손상된 사진을 복원하는 데 지난 18개월을 보냈다. 일부 결과는 너무 좋아서 클라이언트를 기뻐 울리기도 했다. 다른 결과는 여전히 밤잠을 못 이루게 하는 불쾌한 경계로 나아갔다. 200개의 손상된 기억을 되살리면서 내가 배운 것은 이렇다.

복원 워크플로를 처음부터 만들기

나는 사진 복원 전문가로 시작하지 않았다. 나의 배경은 그래픽 디자인이고, 몇 년 동안 기본적인 사진 편집을 해왔다. 하지만 내 할머니가 그녀의 부모님의 찢어진 사진을 고쳐달라고 요청했을 때 — 1923년 엘리스섬에 도착한 이민자들 — 이 서비스에 대한 실질적인 필요가 있다는 것을 깨달았다.

나의 초기 워크플로는 완전히 수동이었다: 포토샵의 복제 인장 도구, 신중한 색상 보정, 맥락적 단서를 기반으로 한 세부 사항 복원. 단일 사진을 처리하는 데 8시간에서 12시간이 걸릴 수 있었다. 나는 이미지당 150달러를 청구했고, 대부분의 클라이언트가 정액 수입을 받는 노인들이라는 것을 알고 있어 양심의 가책을 느꼈다.

그런데 AI 복원 도구들이 등장하기 시작했다. 먼저 간단한 것들이 나왔다 — 자동 색상화, 기본적인 스크래치 제거. 나는 회의적이었다. 초기 결과물은 인공적으로 보였고, 색상은 역사적 정확성이 아니라 알고리즘에 의해 선택된 것처럼 보였다. 1940년대 드레스는 1970년대까지 존재하지 않은 파란색으로 나오곤 했다.

하지만 기술은 빨리 발전했다. 2023년 초까지, 나는 여러 가지 AI 접근 방식을 결합한 도구 세트를 구성하였다: 얼굴 복원을 위한 신경망 하나, 텍스처 합성을 위한 또 하나, 실제로 역사적 맥락을 이해하는 지능 색상화 모델 하나. 나는 여전히 상당한 수작업을 하며 — AI는 도구일 뿐 판단을 대체하는 것이 아니다 — 하지만 각 사진당 소요 시간이 3~4시간으로 줄어들었고, 품질이 극적으로 향상되었다.

내가 정착한 워크플로는 다섯 단계로 이루어진다: 평가 및 문서화, 손상 매핑, AI 지원 복원, 수동 세부 조정, 클라이언트 검토 및 수정. 각 단계에는 진행 여부, 다른 접근 방법을 시도할 것인지, 또는 — 이것은 중요하다 — 복원이 불가능한 수준의 제작 없이는 클라이언트에게 알리는 여부를 결정하는 특정 의사 결정 포인트가 있다.

내게 한계에 대해 가르쳐준 웨딩 사진

첸씨의 웨딩 사진으로 돌아가보자. 나는 그날 저녁 사진을 집으로 가져가 소프트웨어를 만지기 전에 2시간 동안 그것을 연구했다. 물 손상으로 인해 약 1/3 지점에 뚜렷한 경계선이 생겼다. 그 선 위쪽: 선명하고, 깨끗하며 멋지게 보존되었다. 그 아래: 혼돈이었다.

나는 그녀의 드레스 하단을 볼 수 있었지만, 사실 드레스가 있었다는 사실만 알 수 있었다. 섬유 질감은 완전히 사라지고 갈색 얼룩과 종이의 퇴화로 대체되었다. 그의 신발은 어두운 형태로 보였지만, 세부 사항은 남아 있지 않았다. 그들이 서 있었던 바닥 — 나무? 타일? 카펫? —은 누구도 알 수 없는 일이었다.

나는 먼저 얼굴 복원 AI를 사용하여 이미지를 처리했다. 첸씨의 얼굴은 완벽하게 드러났다 — 손상되지 않은 지역에 있었기 때문이다. 그녀의 남편의 얼굴은 턱과 목의 물 손상으로 부분적으로 영향을 받았다. AI는 놀라운 일을 했다: 손상되지 않은 얼굴 부분을 분석하고, 조명 방향을 이해하며, 그의 턱과 턱선을 자연스럽게 복원했다.

나는 3일 후에 첸씨에게 결과를 보여주었다. 그녀는 그것을 오랫동안 응시한 후 울기 시작했다. "그게 그거야,"라고 그녀가 말했다. "정말 그 사람 같아. 그의 턱선이 얼마나 강했는지 잊고 있었어."

그러나 그녀는 사진 하단에 대해 물었다. 드레스를 고칠 수 있을까? 바닥은? 전체 사진이 보존된 것처럼 보이게 만들 수 있을까?

여기서 나는 어려운 대화를 해야 했다. 나는 AI를 사용하여 1962년 웨딩 드레스가 어떻게 보였을지, 젊은 남자가 어떤 신발을 신었을지, 그들이 사용한 장소에는 어떤 바닥이 있었을지를 생성할 수 있다고 설명했다. 그러나 그것은 그들의 드레스, 신발, 바닥이 아니었을 것이다. AI가 수천 개의 다른 사진을 기반으로 한 훈련 데이터에서 제시할 수 있는 최선의 추측일 것이다.

"복원과 제작 사이의 경계는 항상 명확하지 않지만, 나는 스스로에게 한 가지 질문을 하도록 배웠다: 나는 이 사진에서 존재했던 정보를 회복하고 있는가, 아니면 결코 존재하지 않았던 새로운 정보를 생성하고 있는가? 후자인 경우, 나는 진행 방법에 대해 매우 조심해야 한다."

첸씨는 이것에 대해 생각했다. 그러더니 그녀가 내가 모든 복원 작업에 접근하는 방식을 바꾼 한 마디를 했다: "완벽할 필요는 없어. 그저 그의 얼굴을 다시 보고 싶어. 나머지는 종이에 불과해."

나는 그의 얼굴을 아름답게 복원하고 손상된 부분은 그대로 두어 약간 정리되었지만 제작되지 않은 채로 사진을 전달했다. 그녀는 그대로 액자에 넣었다. 가끔 손상은 이야기의 일부이다.

손상 유형별로 200개의 복원을 분석하기

지난달 내 200번째 복원을 완료한 후, 나는 프로젝트 파일을 다시 살펴보고 주요 손상 유형, AI 관여 수준, 결과 품질에 따라 모든 작업을 분류했다. 나타난 패턴들은 유익했다.

데이터는 여러 이야기를 전한다. 햇빛 바램은 종종 전체 이미지를 영향을 미치지만, 실제로는 가장 쉽게 다룰 수 있는 손상 유형이다. 정보는 여전히 사진에 존재하기 때문이다 — 단지 UV 노출로 인해 하얗게 변해버린 것이다. AI 도구는 퇴색된 세부 사항을 복원하고 남아있는 것을 기반으로 색상 정보를 재구성하는 데 뛰어나다.

물 손상은 더 까다롭다. 성공률은 73%로 떨어진다. 왜냐하면 물은 단순히 사진을 퇴색시키는 것이 아니라 — 이미지가 존재하는 에멀젼 층을 완전히 파괴할 수 있기 때문이다. 그런 일이 발생하면 어떤 AI 마법으로도 물리적으로 사라진 것들을 회복할 수 없다. 27%의 실패율은 클라이언트들에게 일정 수준 이상의 복원이 진실하지 않을 만큼 많은 제작을 필요로 할 것이라고 말해야 했던 사례를 나타낸다.

물리적 찢어짐은 의외로 높은 성공률을 보인다. 그 이유는 찢어짐이 종종 정보를 파괴하지 않고 단지 분리하기 때문이다 — AI는 찢어진 선을 가로질러 무엇이 연결되어야 하는지를 이해하고 복원을 매끄럽게 혼합하는 데 뛰어나다.