Ngày xưa xem CSI, mấy anh cảnh sát Mỹ có công nghệ “enhance” hình ảnh để soi chi tiết khuôn mặt hay biển số xe của nghi phạm, nghe rất viễn tưởng và phi lý so với công nghệ thời bấy giờ. Nhưng hiện giờ với sự phát triển của AI, công nghệ của phim CSI đã được hiện thực hóa rất nhiều. Bằng chứng là vừa rồi, nhóm phát triển trí thông minh nhân tạo Brain Team của Google vừa có bài viết mang tên “Tạo hình ảnh độ nét cao bằng mô hình khuếch tán”, và thành quả của họ, trong mắt mình, thật sự đáng nể.
Với công nghệ nâng cấp hình ảnh, mô hình machine learning được huấn luyện để biến những hình ảnh độ phân giải rất thấp trở thành những bức hình độ phân giải cao đầy đủ chi tiết, và có thể nói, tiềm năng ứng dụng của công nghệ này rất rộng, từ việc phục chế ảnh cũ, cho đến nâng cấp hình ảnh dùng trong y khoa.
![Đây là SR3: AI nâng cấp chất lượng ảnh của Google, anh em có thấy ấn tượng?]()
Ý tưởng mô hinh khuếch tán để nâng cấp hình ảnh đã được Google nghiên cứu và giới thiệu từ năm 2015, nhưng kể từ đó đến thời gian gần đây, công nghệ này bị dẹp sang một bên để Google nghiên cứu những dạng AI khác thuộc dạng “deep generative models,' tạm dịch là mô hình phát triển sâu. Nhưng gần đây, diffusion models lại lên ngôi khi nhóm nghiên cứu của Google tạo ra được những giải pháp đánh bại những công nghệ hiện tại, khi được chính con người đánh giá kết quả nâng cấp hình ảnh.
Giải pháp đầu tiên mà Google đưa ra chính là SR3, với những kết quả là những hình ảnh trong bài viết mà anh em đang xem. SR3 là viết tắt của Super-Resolution via Repeated Refinement, và nó hoạt động như thế này: “SR3 là một mô hình khuếch tán lấy dữ liệu đầu vào là những hình ảnh độ phân giải thấp, rồi sau đó xây dựng những hình ảnh độ phân giải cao chỉ bằng hạt nhiễu của bức ảnh. Mô hình này được huấn luyện dựa trên quy trình làm nhiễu ảnh, nơi phần mềm sẽ thêm các hạt nhiễu vào bức hình độ phân giải cao cho tới khi nhìn vào bức hình, chỉ thấy hạt nhiễu chứ không có chi tiết ảnh. Sau đó AI sẽ học cách đảo ngược quá trình đó, bắt đầu với một hình ảnh chỉ có hạt nhiễu, dần dần gỡ bỏ những chi tiết ấy để đạt được chi tiết hình ảnh thông qua ‘hướng dẫn’ từ hình ảnh gốc độ phân giải thấp.'
![]()
![]()
![]()
![]()
Qua thử nghiệm, SR3 của Google vận hành rất tốt đối với những bức hình chân dung và hình ảnh tự nhiên. Thử nghiệm nâng cấp nâng độ chi tiết gương mặt lên 8 lần, giải pháp của SR3 được người đánh giá nghĩ là chân thực hơn, với tỷ lệ “confusion rate” lên đến gần 50%, còn những giải pháp nâng cấp hình ảnh khác cũng chỉ đạt đến khoảng 34% về độ chân thực.
Để biến hình ảnh độ phân giải thấp thành độ phân giải cao, quá trình “khử nhiễu” kể trên chỉ là một giải pháp. Một giải pháp khác được Google nghiên cứu ra, gọi là CDM: “CDM là một mô hình khuếch tán có điều kiện theo lớp, được huấn luyện dựa trên dữ liệu ImageNet để tạo ra hình ảnh tự nhiên có độ phân giải cao. Vì ImageNet là một tập dữ liệu khó, chúng tôi xây dựng CDM thành một chuỗi nhiều mô hình khuếch tán. Giải pháp tiếp cận theo từng tầng này bao gồm việc xâu chuỗi nhiều mô hình tái tạo dựa trên những độ phân giải khác nhau: Một mô hình tạo ra dữ liệu độ phân giải thấp, tiếp theo là những mô hình khuếch tán nâng chất lượng hình ảnh SR3, giúp tăng dần độ phân giải hình ảnh cho tới khi bức hình được tạo ra đạt độ phân giải cao nhất.”
Lấy ví dụ những hình ảnh dưới đây được nâng cấp dần dần để đạt độ phân giải ưng ý:
![]()
![]()
![]()
![]()
Công nghệ này dĩ nhiên chưa hoàn hảo, ví dụ như thiếu những chi tiết trong toa tàu ở bức ảnh trên đây, nhưng nhìn sơ qua thì vẫn chấp nhận dược. Các nhà nghiên cứu của Google cho rằng: “Với SR3 và CDM, chúng tôi đã có thể đẩy được hiệu suất mô hình khuếch tán lên mức cao nhất đối với những tiêu chuẩn nâng cấp độ phân giải hình ảnh. Chúng tôi sẽ muốn kiểm tra thêm những giới hạn của nó, đặc biệt là trong nhiều dạng vấn đề mà mô hình tổng hợp phải giải quyết.”
Theo Petapixel, Google AI Blog
Với công nghệ nâng cấp hình ảnh, mô hình machine learning được huấn luyện để biến những hình ảnh độ phân giải rất thấp trở thành những bức hình độ phân giải cao đầy đủ chi tiết, và có thể nói, tiềm năng ứng dụng của công nghệ này rất rộng, từ việc phục chế ảnh cũ, cho đến nâng cấp hình ảnh dùng trong y khoa.
Ý tưởng mô hinh khuếch tán để nâng cấp hình ảnh đã được Google nghiên cứu và giới thiệu từ năm 2015, nhưng kể từ đó đến thời gian gần đây, công nghệ này bị dẹp sang một bên để Google nghiên cứu những dạng AI khác thuộc dạng “deep generative models,' tạm dịch là mô hình phát triển sâu. Nhưng gần đây, diffusion models lại lên ngôi khi nhóm nghiên cứu của Google tạo ra được những giải pháp đánh bại những công nghệ hiện tại, khi được chính con người đánh giá kết quả nâng cấp hình ảnh.
Giải pháp đầu tiên mà Google đưa ra chính là SR3, với những kết quả là những hình ảnh trong bài viết mà anh em đang xem. SR3 là viết tắt của Super-Resolution via Repeated Refinement, và nó hoạt động như thế này: “SR3 là một mô hình khuếch tán lấy dữ liệu đầu vào là những hình ảnh độ phân giải thấp, rồi sau đó xây dựng những hình ảnh độ phân giải cao chỉ bằng hạt nhiễu của bức ảnh. Mô hình này được huấn luyện dựa trên quy trình làm nhiễu ảnh, nơi phần mềm sẽ thêm các hạt nhiễu vào bức hình độ phân giải cao cho tới khi nhìn vào bức hình, chỉ thấy hạt nhiễu chứ không có chi tiết ảnh. Sau đó AI sẽ học cách đảo ngược quá trình đó, bắt đầu với một hình ảnh chỉ có hạt nhiễu, dần dần gỡ bỏ những chi tiết ấy để đạt được chi tiết hình ảnh thông qua ‘hướng dẫn’ từ hình ảnh gốc độ phân giải thấp.'
Qua thử nghiệm, SR3 của Google vận hành rất tốt đối với những bức hình chân dung và hình ảnh tự nhiên. Thử nghiệm nâng cấp nâng độ chi tiết gương mặt lên 8 lần, giải pháp của SR3 được người đánh giá nghĩ là chân thực hơn, với tỷ lệ “confusion rate” lên đến gần 50%, còn những giải pháp nâng cấp hình ảnh khác cũng chỉ đạt đến khoảng 34% về độ chân thực.
Để biến hình ảnh độ phân giải thấp thành độ phân giải cao, quá trình “khử nhiễu” kể trên chỉ là một giải pháp. Một giải pháp khác được Google nghiên cứu ra, gọi là CDM: “CDM là một mô hình khuếch tán có điều kiện theo lớp, được huấn luyện dựa trên dữ liệu ImageNet để tạo ra hình ảnh tự nhiên có độ phân giải cao. Vì ImageNet là một tập dữ liệu khó, chúng tôi xây dựng CDM thành một chuỗi nhiều mô hình khuếch tán. Giải pháp tiếp cận theo từng tầng này bao gồm việc xâu chuỗi nhiều mô hình tái tạo dựa trên những độ phân giải khác nhau: Một mô hình tạo ra dữ liệu độ phân giải thấp, tiếp theo là những mô hình khuếch tán nâng chất lượng hình ảnh SR3, giúp tăng dần độ phân giải hình ảnh cho tới khi bức hình được tạo ra đạt độ phân giải cao nhất.”
Lấy ví dụ những hình ảnh dưới đây được nâng cấp dần dần để đạt độ phân giải ưng ý:
Công nghệ này dĩ nhiên chưa hoàn hảo, ví dụ như thiếu những chi tiết trong toa tàu ở bức ảnh trên đây, nhưng nhìn sơ qua thì vẫn chấp nhận dược. Các nhà nghiên cứu của Google cho rằng: “Với SR3 và CDM, chúng tôi đã có thể đẩy được hiệu suất mô hình khuếch tán lên mức cao nhất đối với những tiêu chuẩn nâng cấp độ phân giải hình ảnh. Chúng tôi sẽ muốn kiểm tra thêm những giới hạn của nó, đặc biệt là trong nhiều dạng vấn đề mà mô hình tổng hợp phải giải quyết.”
Theo Petapixel, Google AI Blog
googleaiđộ phân giảinghiên cứutrí thông minh nhân tạosuper resolutiondeep learningnâng cấp hình ảnh
