Cách mà Tăng cường AI hiện đại thực sự hoạt động
Tăng cường AI sử dụng các mạng nơron được đào tạo trên hàng triệu cặp hình ảnh—bản sao độ phân giải thấp được khớp với các bản sao cao hơn. Mạng lưới học các mẫu: một cạnh nhòe trông như thế nào khi sắc nét, chi tiết kết cấu thường xuất hiện như thế nào ở độ phân giải cao hơn, tiếng ồn so với chi tiết thực sự trông như thế nào. Khi bạn đưa một hình ảnh vào một bộ tăng cường, nó không chỉ kéo dài các pixel. Nó phân tích hình ảnh theo từng phần, xác định các mẫu nó nhận ra từ đào tạo và tạo ra các pixel mới dựa trên những gì nó dự đoán nên ở đó. Một bộ tăng cường tốt được đào tạo về khuôn mặt sẽ tái tạo các đặc điểm khuôn mặt với độ chính xác đáng kinh ngạc. Bộ tăng cường đó có thể gặp khó khăn với các bộ phận cơ khí hoặc kết cấu vải vì nó không được đào tạo về những mẫu đó. Kiến trúc rất quan trọng. ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) sử dụng một mạng lưới sinh tạo ra hình ảnh đã tăng cường và một mạng lưới phân biệt cố gắng phân biệt giữa các hình ảnh độ phân giải cao thực sự và các hình ảnh đã tăng cường. Việc đào tạo đối kháng này thúc đẩy máy phát tạo ra kết quả ngày càng chân thực hơn. Real-ESRGAN, mà tôi sử dụng cho khoảng 60% công việc của mình, thêm đào tạo bổ sung về sự suy giảm tổng hợp—nó học cách xử lý các artefact nén, mờ và tiếng ồn tồn tại trong các hình ảnh thực tế, không chỉ là các phiên bản đã được giảm xuống sạch sẽ. Các bộ tăng cường dựa trên khuếch tán như StableSR hoạt động theo cách khác. Chúng bắt đầu với tiếng ồn và dần dần tinh chỉnh nó thành một hình ảnh độ phân giải cao, được hướng dẫn bởi đầu vào độ phân giải thấp. Cách tiếp cận này có thể tạo ra những kết quả cực kỳ chi tiết, nhưng cũng chậm hơn và đôi khi có thể tưởng tượng ra các chi tiết không có trong hình ảnh gốc—một vấn đề khi bạn cần duy trì ý định nghệ thuật chính xác của một kết cấu. Quá trình xử lý diễn ra qua nhiều giai đoạn. Đầu tiên, hình ảnh được phân tích và thường xuyên được chia thành các ô chồng lên nhau để quản lý việc sử dụng bộ nhớ. Mỗi ô được xử lý thông qua mạng lưới nơron, mà thường có 20-40 lớp tích chập, cơ chế chú ý và các kết nối dư thừa. Các ô sau đó được hòa trộn lại với nhau, với việc xử lý cẩn thận các vùng chồng lấn để tránh các đường may rõ ràng. Cuối cùng, quá trình hậu xử lý có thể làm sắc nét các cạnh, điều chỉnh cân bằng màu sắc hoặc áp dụng giảm tiếng ồn. Điều làm cho năm 2026 khác biệt so với những năm trước là sự xuất hiện của các mô hình chuyên biệt. Chúng tôi hiện có các bộ tăng cường được đào tạo đặc biệt cho nghệ thuật anime, cho chân dung nhiếp ảnh, cho các render kiến trúc, cho nghệ thuật pixel. Sử dụng mô hình chuyên biệt đúng có thể cải thiện điểm số chất lượng lên 0,1-0,15 điểm SSIM so với các mô hình đa năng—một sự khác biệt đáng kể khi bạn làm việc ở quy mô lớn.Đêm tôi tăng cường 400 kết cấu và học được điều gì thực sự quan trọng
Đó là 11 giờ tối vào một thứ Năm khi người dẫn dắt studio nhắn cho tôi. Họ vừa nhận được phản hồi từ nhà phát hành của họ: tất cả các kết cấu môi trường cần phải tối thiểu là 2K cho phiên bản console. Họ có 400 kết cấu ở độ phân giải 1024×1024, và giấy chứng nhận chỉ còn ba tuần. Tái tạo chúng không phải là một lựa chọn—nghệ sĩ gốc đã chuyển đến một studio khác, và các tệp nguồn là một mớ hỗn độn của các tệp PSD bị mất và các xuất bản đã bị làm phẳng. Tôi đã bắt đầu với Real-ESRGAN, lựa chọn thường thấy của tôi. 50 kết cấu đầu tiên trông rất đẹp trong cửa sổ xem trước. Tôi đã xếp hàng phần còn lại và đi pha cà phê. Khi tôi quay lại, tôi đã kiểm tra nhanh kết quả và gửi chúng đến studio. Họ đã tích hợp chúng vào bản dựng và gửi cho tôi một cái thumbs up. Hai ngày sau, tôi nhận được một tin nhắn khác. Các kết cấu trông sai trong trò chơi. Không phải rõ ràng xấu—chỉ hơi lệch một chút. Các bức tường đá có vẻ quá mịn màng. Gỗ trông gần như bằng nhựa. Các tấm kim loại đã mất sự biến đổi bề mặt tinh tế của chúng. Tôi đã mở bản dựng trò chơi và so sánh nó với các bản gốc cạnh nhau. Bộ tăng cường đã làm đúng những gì nó được đào tạo để làm: nó đã giảm tiếng ồn và tăng cường các cạnh. Nhưng những gì tôi nghĩ là tiếng ồn trong các kết cấu đó thực sự là chi tiết bề mặt có chủ ý—những bất thường nhỏ làm cho đá trông như đá và không giống như một bức tranh về đá đã được làm mịn trong Photoshop. Tôi đã dành 12 giờ tiếp theo để xử lý lại mọi thứ. Lần này, tôi đã sử dụng Swin2SR cho các kết cấu đá—nó giữ lại chi tiết tần số cao tốt hơn. Đối với gỗ, tôi đã chuyển sang một mô hình mà tôi đã tinh chỉnh trên các bức ảnh gỗ. Kim loại được xử lý bằng Real-ESRGAN nhưng với tham số giảm tiếng ồn được đặt thành -1 thay vì mặc định 0, điều này bảo cho nó giữ lại nhiều biến đổi kết cấu gốc hơn. Lô thứ hai trông đúng. Nhưng tôi đã học được một điều quan trọng: bạn không thể chỉ chạy mọi thứ qua cùng một mô hình và mong đợi có kết quả tốt. Mỗi loại kết cấu có các đặc điểm khác nhau, và bộ tăng cường cần phải phù hợp với những đặc điểm đó. Một mô hình làm cho chân dung trông tuyệt vời sẽ phá hỏng chi tiết thô ráp trong kết cấu bê tông. Đêm đó đã dạy cho tôi biết cách phân loại các kết cấu của mình trước khi tăng cường. Tôi hiện phân loại mọi thứ thành các nhóm—vật liệu hữu cơ, bề mặt cứng, vải, kim loại, bề mặt sơn—and sử dụng các mô hình hoặc tham số khác nhau cho mỗi nhóm. Nó mất thời gian hơn, nhưng kết quả tốt hơn một cách nhất quán. Và tôi luôn, luôn kiểm tra các kết quả trong chính công cụ trò chơi, không chỉ trong trình xem hình ảnh. Ngữ cảnh quan trọng.Dữ liệu hiệu suất qua 8 mô hình tăng cường lớn
Tôi đã thử nghiệm tám mô hình tăng cường trên một bộ kết cấu trò chơi tiêu chuẩn 150 cái, đo thời gian xử lý, các chỉ số chất lượng và đánh giá trực quan chủ quan. Tất cả các bài kiểm tra đều chạy trên cùng phần cứng: RTX 4080, 32GB RAM, xử lý hình ảnh 1024×1024 thành 2048×2048.| Mô hình | Thời gian trung bình (s) | Điểm SSIM | PSNR (dB) | Trường hợp sử dụng tốt nhất | Điểm yếu chính |
|---|---|---|---|---|---|
| Real-ESRGAN | 2.3 | 0.89 | 28.4 | Mục đích chung, kết cấu hữu cơ | Có thể làm mờ quá mức chi tiết tinh tế |
| Swin2SR | 4.1 | 0.92 | 29.8 | Bảo tồn chi tiết cao, nghệ thuật kỹ thuật | Xử lý chậm hơn, sử dụng bộ nhớ cao hơn |
| BSRGAN | 1.8 | 0.85 | 27.1 | Xử lý theo lô nhanh, nền | Chất lượng thấp hơn trên các kết cấu phức tạp |
| StableSR | 12.7 | 0.94 | 31.2 | Tài sản anh hùng, tài liệu tiếp thị | Rất chậm, có thể tưởng tượng chi tiết |
| HAT | 5.6 | 0.91 | 29.3 | Chất lượng/tốc độ cân bằng, công việc sản xuất | Cần nhiều VRAM hơn |
| RealCUGAN | 3.2 | 0.88 | 28.9 | Nghệ thuật anime/phong cách, yếu tố UI | Kém với nội dung chân thực |
| LDSR | 18.4 | 0.93 | 30.7 | Khôi phục chi tiết cực đoan, lưu trữ | Rất chậm, kết quả không nhất quán |
| Waifu2x | 1.2 | 0.82 | 26.3 | Xem trước nhanh, sprite trò chơi 2D | Không còn cập nhật, chất lượng thấp hơn |
Những gì các chỉ số chất lượng thực sự cho bạn biết (Và những gì chúng không nói)
SSIM và PSNR hữu ích, nhưng chúng không phải là toàn bộ câu chuyện. Tôi đã thấy các hình ảnh đã tăng cường với điểm số SSIM 0,94 nhưng trông tệ hơn trong trò chơi so với các hình ảnh có điểm số 0,87. Các chỉ số đo sự tương đồng toán học với một hình ảnh tham chiếu, nhưng chúng không đo được liệu kết cấu đã tăng cường có phục vụ mục đích của nó trong ngữ cảnh cuối cùng hay không."Một kết cấu có điểm 0,95 trên SSIM nhưng mất đi chi tiết bản đồ bình thường tinh tế giúp bề mặt cảm nhận ba chiều thì tệ hơn một kết cấu có điểm 0,88 nhưng giữ lại chất lượng xúc giác đó. Các con số không thể hiện những gì làm cho một kết cấu hoạt động trong một công cụ trò chơi."Tôi đã học điều này theo cách khó khổ trong một dự án khoa học viễn tưởng. Khách hàng muốn tất cả các kết cấu tấm kim loại của họ được tăng cường. Tôi đã chạy chúng qua StableSR, nhận được các điểm số SSIM đẹp trên 0,93 và giao tệp. Các kết cấu trông tuyệt vời trong Photoshop. Nhưng khi ánh sáng chiếu vào chúng trong engine, chúng trông phẳng. Bộ tăng cường đã làm mờ các biến thể siêu nhỏ trong độ sáng mà hệ thống PBR (Rendering Dựa trên Vật lý) của engine sử dụng để tính toán phản xạ ánh sáng. Tôi đã phải xử lý lại mọi thứ với một mô hình khác và điều chỉnh thủ công các bản đồ thô ráp để bù đắp. Lô thứ hai có điểm số SSIM thấp hơn—khoảng 0,89—nhưng chúng trông đúng trong trò chơi. Các chỉ số không thực sự đo được điều quan trọng: cách mà kết cấu tương tác với hệ thống ánh sáng. Đó là lý do tại sao tôi luôn kiểm tra các kết cấu đã tăng cường trong mục tiêu e