Công nghệ chống rung của Google gọi là Fused Video Stabilization, là sự kết hợp của chống rung quang học (bằng phần cứng) và chống rung điện tử (bằng phần mềm). Công nghệ này đủ hiệu quả và tối ưu để chạy trên mọi độ chế độ, dù là 60fps hay 4K. Trong bài viết này, chúng ta sẽ đi tìm hiểu chi tiết về công nghệ này để hiểu hơn về công nghệ chống rung trên smartphone này.

Trước khi đi vào bài viết chúng ta hãy xem những gì mà công nghệ này có thể làm được:

Theo Google , công nghệ này có thể xử lý các hiện tượng sau:

Đây là sơ đồ tóm gọn công nghệ Fused Video Stabilization

1. Ghi nhận hình ảnh:

Cảm biến ghi nhận tất cả cả các hình ảnh trong video ở dạng từng khung hình (frame) riêng lẻ. Những khung hình có rung động, chưa được xử lý sẽ được tổng hợp và xếp hàng (queue) chờ xử lý. Những dữ liệu lúc này vẫn là ở dạng thô, chưa thành video hoàn chỉnh.

2. Phân tích chuyển động

Máy sẽ sử dụng con quay hồi chuyển (gyroscope) để ghi nhận các chuyển động theo trục ngang, dọc và xoay. Bên cạnh đó, hệ thống chống rung quang học OIS được dùng ghi nhận các rung động trục X và trục Y. Đối với trục Z, google sử dụng hệ thống lấy nét để ghi nhận các chuyển động này.

Đây là hệ thống mô tả các chiều chuyển động của hệ thống chống rung 5 trục trên máy ảnh Sony, kết hợp hệ thống chống rung của ống kính và khả năng dịch chuyển cảm biến. Vì đặc thù phần cứng, Google còn ghi nhận được thêm dữ liệu về trục Z.

Những dữ liệu này sẽ được bộ xử lý ảnh ghi nhận với tốc độ 200 lần/giây. Với tốc độ quét khung hình nhanh như vậy, chip xử lý không chỉ có được những thông tin về rung động mà thậm chí còn nhận diện được những sự méo mó ảnh gây ra bởi Rolling Shutter.

Tất cả sẽ được sử dụng để 'phân tích chuyển động'. Các thuật toán đặc biệt sẽ tổng hợp các dữ liệu và tính toán độ mức độ bù trừ khung hình cho rung động. Ví dụ tại 1 khoảnh khắc bạn bị rung theo chiều hướng lên thì hệ thống chống rung này sẽ tính toán để kéo khung hình đó xuống cho khớp với khung hình trước đó.

Để sự phân tích được chính xác, Google phải xử lý và đồng bộ nhịp nhàng giữa các dòng dữ liệu với nhau, tránh hiện tượng khung hình được ghi nhận nhưng chưa có dữ liệu để xử lý. Vì thế họ đã tối ưu rất nhiều cho thuật toán phân tích chuyển động nhằm giảm thời gian lệch.

Đây là video minh hoạ cho việc Đồng độ dữ liệu bị lỗi. Bên trái là dữ liệu về sự rung động bị chậm 3 mili giây so với dữ liệu ảnh, bên phải là sự đồng bộ đã được xử lý

3. Lọc, dự đoán, xử lý

Dữ liệu từ bước trên sẽ được chuyển sang một bộ lọc chuyển động chủ động. Bằng các sử dụng hình ảnh của các khung hình trước đó, các thuật toán sử dụng công nghệ machine learning để phân tích, và dự đoán chuyển động tiếp theo. Dựa trên sự dự đoán đó, chip xử lý sẽ đoán hình ảnh tiếp theo sẽ bị rung theo hướng nào để xử lý ngay lập tức. Quá trình này gọi là 'Lookahead filtering'.

Lookahead filtering là một công nghệ nâng cao và là ưu thế của chống rung điện tử so với chông rung bằng phần cứng. Rõ ràng nếu đoán trước được tương lai thì chúng ta sẽ có biện pháp xử lý tốt hơn.

Trong quá trình 'nhìn trước' (Look ahead), máy sẽ sử dụng bộ lọc Gaussian để xử lý chống rung ở mức cơ bản.

Sau đó một khuôn mẫu được huấn luyện trước (pre-trained model) sẽ được Google đưa vào để nhận diện chuyển động. Ví dụ nếu máy nhận ra là bạn đang lia máy theo chiều ngang, nó sẽ giảm bớt sự chống rung chiều dọc để chuyển sang ưu tiên chống rung chiều ngang.

4. Tối ưu rung động cho từng khung hình (Motion Blur Masking)

Trong lúc quay video, đặc biệt là video thiếu sáng, bạn sẽ nhận ra hiện tượng rung khung hình bị rung, nhoè (motion blur). Điều xuất hiện trên nhiều các thiết bị có cảm biến nhỏ. Ví dụ trong bài thử nghiệm so sánh GoPro 6 và Sony FDR-3000 của mình mới đây, chiếc GoPro bị hiện tượng rung nhoè rất nặng vì sử dụng chống rung điện tử không có xử lý motion blur:

Để giải quyết vấn đề này, Google đã xử dụng các thuật toán để nhìn vào từng khung hình, sau đó bôi chọn các vùng bị nhoè để xử lý. Bằng cách dịch chuyển vùng bị nhoè trùng với chiều di chuyển của khung hình, thuật toán này sẽ đánh lừa đôi mắt của bạn và khiến bạn nghĩ rằng đó không phải là rung.

Bên trái: Video chỉ có OIS, chưa được xử lý bằng Fused Video Stabilization, bên phải là đã xử lý chống rung với Fused Video Stabilization.

Hãy chú ý độ nét của chữ EXIT

Ví dụ ảnh của bạn bị rung theo chiều dọc, nhưng lúc đó bạn đang lia máy ngang thì thuật toán sẽ xử lý để sự nhoè theo chiều dọc đó nhìn giống như nhoè theo chiều ngang do đang lia máy.

Một lần nữa, công nghệ machine learning lại được áp dụng để luyện cho AI nhận biết sự rung động (huấn luyện AI bằng cách cho nó xem những video so sánh có và không có rung động)

Và đây là kết quả:

Bên trái: Video đã xử lý Fused Video Stabilization nhưng chưa xử lý Motion blur masking. Bên phải là video đã xử lý Fused Video Stabilization có kèm theo Motion blur masking.

Hãy chú ý độ nét của chữ EXIT

Xử lý cuối cùng và hiệu chỉnh:

Cuối cùng, tất cả các sự xử lý trên sẽ tổng hợp tạo nên sự chống rung hiệu quả. Các bạn có thể xem video dưới đây để hiểu hơn về cách mà môt video thành phẩm được chống rung cũng như vì sao video sau khi chống rung sẽ bị cắt bớt phần rìa bên ngoài và hình ảnh góc hẹp hơn video gốc:

Tổng kết:

Công nghệ kết hợp phần cứng và phần mềm đã có từ lâu. Ứng dụng quay video của Microsoft hay ứng dụng Hyperlapse của Instagram đều tận dụng con quay hồi chuyển để ghi nhận rung động và xử lý. Nhưng với Google, họ đưa công nghệ này lên mức độ cao hơn bằng cách kết hợp với chống rung quang học OIS và dùng cách thuật toán hiệu quả hơn.

Google nhấn mạnh Fused Video Stabilization là nỗ lực quy mô lớn của nhiều bộ phân khác nhau của công ty, từ bộ phận phát triển thuật toán camera, thuật toán cảm biến ảnh, thuật toán cảm biến, đến các bộ phận về phần cứng camera, phần cứng về cảm biến.

Kết quả là người dùng sẽ có được những đoạn video mượt hơn, ít rung, độ nét cao và có giá trị chia sẻ cao hơn. Từ Pixel đời đầu tiên, Google cho thấy phần mềm của họ rất tốt, vì thế tuy phần cứng có hơi kém hơn đối thủ, Pixel vẫn dễ dàng cho chất lượng ảnh tốt hơn các đối thủ cùng thời.

Với sự phân mảnh của thế giới Android, rất khó nói được liệu công nghệ này có được cập nhật cho các điện thoại của hãng khác không. Nhưng Google Pixel được xem như tiêu chuẩn của điện thoại Android theo cái nhìn của Google, vì thế chúng ta hoàn toàn có cơ sở để trông chờ một bản cập nhật Google Camera để mang công nghệ chống rung này lên nhiều điện thoại khác nhau. Hoặc trong thời đại ngày nay, điện thoại có OIS rất phổ biến, vì thế việc ứng dụng những công nghệ chống rung như thế này trong tương lai là điều rất khả thi.

Tham khảo: Google