AI Image Upscaling: When It's Magic and When It's Garbage

先週の火曜日、クライアントが2008年のYouTube動画から480pのスクリーンショットを送ってきました。それは彼らの祖父の唯一の録画インタビューでした。彼らはそれを24x36インチで印刷して、彼の追悼式のために使いたいと言っていました。私は14年間プロの写真修復専門家をしており、このシナリオを何百回も目にしてきました。家族はいつも同じ質問をします：「AIはこれを修正できますか？」時々その答えは「はい」です。時々「いいえ」です。そして、その違いを知っていることで、誰かの愛する人の最後の思い出を台無しにするゴミを納品するのを避けることができました。

私はマーカス・チェンで、ポートランドで年間約300プロジェクトを手がけるブティック写真修復スタジオを運営しています。私の現在の仕事の半分はAIのアップスケーリングツールに関わっており、この3年間で23種類の異なるソリューションをテストしました。私はさまざまなAIアップスケーリングサービスやソフトウェアライセンスに約8,400ドルを費やし、これらのツールが奇跡をもたらす時と高価な失望を生む時を正確に学びました。これは理論的な話ではなく、私が共有するすべての例は、金銭と感情がかかっている実際のクライアントの仕事から来ています。

AIが解決できない物理的問題（しかしそれが解決できるふりをする）

AIアップスケーリングについて誰も教えてくれないことがあります：それは根本的に存在しない情報を作り上げていることです。500x500ピクセルの画像があり、それを2000x2000にしたい場合、AIに75％のピクセルを発明させているのです。それは強化ではなく、AIが他の何百万もの画像から学んだパターンに基づいた推測です。

私は昨年、制御された実験でこれをテストしました。自分が撮影したプロフェッショナルな6000x4000ピクセルの写真を、1000x667ピクセルにダウンサイジングし、5つの異なるAIアップスケーラーを使用して元の解像度に戻しました。結果は非常に興味深いものでした。Topaz Gigapixel AIは、布の質感の詳細の約68％を回復しました。Upscayl（オープンソースのオプション）は約52％でした。AdobeのSuper Resolutionは71％に達しましたが、背景のボケに奇妙なアーティファクトを導入しました。どれも元の画像を完全に再構築することはできませんでした—なぜなら、その情報は消えてしまったからです。

私が見つけた最高のアナロジーは次のとおりです：誰かが電話越しに絵画を説明し、それを再現してくれと言われたとしましょう。一般的な構図は正しく、色のパレットも近いかもしれませんが、主要な要素のいくつかをうまく捉えることはできるでしょう。しかし、正確な筆遣いや微妙な色の移行、アーティストの特定の技法を再現することは決してありません。AIのアップスケーリングも同じように機能します。類似の画像が通常どのように見えるかに基づいて最良の推測を行っています。

これは重要です。なぜなら、クライアントはしばしばCSIレベルの「強化」マジックを期待して私のところにやってくるからです。彼らはYouTubeでぼやけた顔がクリスタルクリアになるAIアップスケーリングのデモを見ています。彼らが見ないのは、そのデモがすべてが完璧に一致する5％のケースを慎重に選んでいるということです。ソース画像には情報が十分に含まれており、AIのトレーニングデータには類似の被写体が含まれており、照明条件がアルゴリズムが認識するパターンと一致しています。他の95％の試みはどうか？それは「許容できる」から「不気味の谷の悪夢」までさまざまです。

AIのアップスケーリングが実際に機能する時：スイートスポット

何百枚もの画像を処理した後、AIのアップスケーリングが本当に印象的な結果をもたらす正確な条件を特定しました。まず、ソース画像は最短辺が少なくとも800ピクセルでなければなりません。それ以下では、求めすぎです。私は600ピクセルの画像を成功裏にアップスケーリングしたことがありますが、成功率は約80％から35％に下がります。

「AIのアップスケーリングは強化ではありません—それは教育された推測です。あなたはソフトウェアに、最初から存在しなかった75％のピクセルを発明させているのです。」

次に、画像には適切な照明とコントラストが必要です。最近、明るい日中に撮影した1200x800ピクセルのビンテージカーの写真をアップスケーリングしました。AIは、クロームの詳細や塗装の質感、反射パターンを驚くべき精度で再構築しました。なぜなら、AIモデルのトレーニングデータには、明るい照明で撮影された数百万枚の車の写真が含まれているからです。アルゴリズムは、何千もの類似のクロームバンパーを見ており、どの詳細を追加すればよいかを知っていました。

それを同時代の薄暗い室内写真と比較してください。同じ解像度ですが、AIは苦労しました。なぜなら、低照度の写真は作業に必要な情報が少なく、ノイズパターンがアルゴリズムを混乱させるからです。私は奇妙なスムージングアーティファクトとプラスチックのように見える発明された詳細で終わりました。クライアントはそれを拒否し、私は180ドルを返金しなければなりませんでした。

3つ目、そしてこれは重要です—被写体は一般的でなければなりません。顔、建物、風景、車、ペット：これらはAIモデルが数百万の例を見てきたため、うまく機能します。私は2005年の誰かのゴールデンレトリバーの900x600ピクセルの写真をアップスケーリングしましたが、その結果は驚異的でした。AIは犬の毛がどのように見えるべきか、濡れた鼻からの光の反射、草の典型的な質感を知っていました。自然に見える詳細を埋め込んでくれました。

しかし、あるクライアントが彼らの祖父の工場から1960年代の珍しい産業機械の1000x750ピクセルの写真を持ってきたとき？災害でした。AIにはこの特定の機器がどのように見えるかの参照がありませんでした。技術的には妥当だが事実的には間違った詳細を発明してしまいました。滑らかな表面のはずのところにボルトが現れました。パネルラインは不可能な場所に追加されました。30年間この機械を扱っていたクライアントは、すぐに間違いに気付きました。

不気味の谷：AIが不気味になる時

私は「AIの悪夢」というフォルダーを持っており、アップスケーリングが失敗した47の例があります。これらは単に悪い結果ではなく、クライアントに送信する前に気づいて良かったと思う積極的に不快な画像です。最も一般的な失敗モードは？顔です。

AIの顔のアップスケーリングは、顔の再構築と呼ばれるプロセスを通じて機能します。アルゴリズムは顔を検出し、主要なランドマーク（目、鼻、口）を特定し、その後トレーニングデータに基づいて新しい詳細を合成します。うまくいけば、それは素晴らしいです。私は1990年代の結婚式の600x400ピクセルの写真を修復し、花嫁の顔が2400x1600でシャープで自然に見えるようになりました。

しかし、失敗したときは、壮大に失敗します。私はあるグループ写真をアップスケーリングしたことがあります。その中の一人がカメラから少し顔を背けていました。AIは部分的な顔を「修正」しようとして、異なる人間に見えるような特徴を発明してしまいました。目の間隔が変わりました。鼻の形が変わりました。クライアントの姉は、結果を見て「それは私じゃない」と言いました。彼女は正しかった—AIは本質的に新しい人を創造してしまったのです。

この問題は、古い写真や異常な角度で強まります。私は1970年代の写真を処理したことがあります。その中で、誰かが下から撮影され、自然な視点の歪みを生じていました。AIは主に正面のポートレートを基にトレーニングされており、この歪みを「修正」しようとしました。結果はピカソの絵のようで—特徴が間違った場所に、比率が解剖学に反していました。私はクライアントに、時にはオリジナルのぼやけたバージョンの方が、AI強化の化け物よりも良いことがあると説明しなければなりませんでした。

私のルールはこうです：オリジナルの顔が80x80ピクセル未満であれば、私はAIでアップスケーリングしません。代わりに伝統的な補間方法を使用します。はい、それはぼやけたままですが、ぼやけている方が間違っているより良いです。私は、アップスケーリングされた家族の肖像を納品し、祖母が「それは私の夫の見た目じゃない」と言って展示を拒否したという400ドルの失敗の後にこのことを学びました。AIは彼の顔の特徴を微妙に変更しており、彼女はすぐに気づきました。

ツールの風景：2026年に実際に機能するもの

私は23種類の異なるAIアップスケーリングソリューションをテストしましたが、その印...