GyroFlow:能夠通過運動數據準確穩定視頻。陀螺儀數據從各種現代相機內部記錄(例如,GoPro、索尼、Insta 360等)以及外部設備提供的陀螺儀數據(例如,Betafflight黑匣子)。
主要功能包括實時預覽、參數調整、圖形處理和渲染、滾動快門修正等,可以直接在視頻編輯軟體中應用穩定效果,無需進行代碼轉換。
1.項目是什麼?
- 全名:GyroFlow -「使用陀螺儀數據進行視頻穩定」。
- 功能:它可以讀取視頻中或外部記錄的陀螺儀數據(有時帶有加速度計/加速度計數據),然後使用這些數據幫助糾正視頻中的抖動,使畫面更流暢、更穩定。
- 免費開源:這是一個開源項目,並根據GPT-3.0獲得許可。您可以在開源許可證允許的範圍內自由使用、修改和分發。
2.主要特點/優勢
以下是它的一些關鍵功能(即,比常規軟體更好或僅依賴視頻圖像算法進行穩定):
| 特性 | 角色/優勢 |
|---|---|
| 使用陀螺儀/加速計+視頻 | 圖像中的抖動可以通過物理運動數據更準確地補償,例如陀螺儀數據可以準確地告訴您相機如何旋轉,使穩定更加自然準確。 |
| 鏡頭校正 | 不同的鏡頭具有不同的失真,會影響矯正效果,Gyrolow包括一個鏡頭輪廓資料庫來矯正這種情況。 |
| 捲簾快門校正 | 當使用帶有互補金屬氧化物傳感器的相機快速移動時,滾動快門可能會導致失真/傾斜效應,而Gyrolow可以對此進行糾正。 |
| 支持廣泛的硬體/格式 | 支持多種品牌/型號的動作相機、無人機、無人機、RW視頻格式、外部陀螺儀日誌等。 |
| 用戶界面+實時預覽+圖形處理器加速 | 用戶友好的界面,具有實時預覽、硬體加速渲染。這可以讓您在調整參數時快速看到效果。 |
| 插件支持 | 它可以用作視頻編輯軟體中的插件,無需在導入編輯器之前渲染穩定性,例如DaVinci Resolve、Adobe Premiere/After Effects、Final Cut Pro等作為項目文件/插件。 |
3.架構/實施
以下是它的設計方式以及值得注意的技術要點:
- 核心庫(GyroFlow核心): 處理所有穩定算法+像素處理邏輯。圖形用戶界面/前端界面、插件、解碼編碼等都是建立在這個核心之上的。
- 模塊化設計:核心庫不假設視頻源、UI、解碼器/編碼器的特定製作方式。也就是說,您可以在不同的平台和不同的前端上使用它。
- 多線程+硬體加速:多種計算(圖像處理、同步、過濾等)是多線程的,並且使用圖形處理器來加速渲染/輸出。
- 同步:視頻幀和陀螺儀數據必須同步(包括時間戳、偏差等)以正確地補償運動。這個同步過程很重要。
- 光流量算法/可選補充:當陀螺儀或加速度計數據不足和/或需要進行細節修正時,一些算法(光通量)可以提供幫助。
4.限制/挑戰
雖然Gyrolow很強大,但它不是萬能藥,以下是您可能遇到的一些問題或需要注意的問題:
- 需要陀螺儀數據:如果視頻中沒有陀螺儀數據,或者如果外部沒有適當的日誌/日誌,則無法使用其完整功能。只能使用一些估計或輔助方法。
- 數據同步問題:即使有陀螺儀數據,如果時間戳不同步、延遲較大、錄製不準確,也會導致修正不準確,可能導致畫面「漂移」或仍然晃動。
- 裁剪/縮放:為了穩定框架,通常需要裁剪框架的邊緣或放大以補償移動,這意味著有效框架將縮小/丟失框架邊緣的信息。
- 加工性能要求:高解析度視頻+高幀率+使用光流+大鏡頭畸變校正等功能會對計算機/GPU性能有很高的要求。實時預覽或大容量處理可能需要更好的硬體。
- 視覺失真或失真問題:如果鏡頭矯正不準確,或者圖像嚴重失真(例如魚眼廣角鏡頭),矯正效果就會受到限制,有時會造成不自然的失真。
- 學習曲線:雖然界面和文檔試圖易於使用,但在調整參數(例如鏡頭矯正強度、平滑因子、水平鎖定等)方面進行了一些嘗試和錯誤使畫面穩定自然。
5.典型使用過程
使用Gyrolow的常見過程可能如下所示:
- 拍攝視頻
使用支持陀螺儀數據記錄的相機拍攝視頻。確保陀螺儀輸入已打開,如果是動作相機、無人機或某些無人機,請確保輸入模式正確(例如,不要打開相機內部的一些電子穩定器/穩定器,或避免重疊穩定功能引起的衝突)。 - 獲取陀螺儀日誌/數據(如果是外部的)
如果相機沒有內置良好的陀螺儀數據,則需要外部記錄,例如無人機飛行控制器黑匣子或專用運動記錄器。 - 將視頻+陀螺儀數據導入到GyroFlow
導入同步陀螺儀數據時,在Gyrolow軟體中打開視頻。如果相機支持鏡頭配置,則鏡頭配置文件可以自動加載或從資料庫中選擇。 - 刪除視頻幀+運動數據
調整時間偏差等,將運動與視頻幀對齊是關鍵的一步。 - 調整穩定參數
例如,平滑度、水平調平、鏡頭失真修正強度、滾動式快門修正、不同軸的旋轉限制(俯仰、偏轉、滾動)等。它還可以通過光學流動來輔助。 - 實時預覽/檢查效果
在預覽窗口中觀察效果,查看圖片是否光滑自然,是否裁剪過多,是否存在殘留抖動或失真。 - 出口
滿意後即可輸出視頻,或者如果您使用插件方法,則可以直接在視頻編輯軟體中進行處理。輸出時選擇合適的格式/解析度/比特率等。
6.使用場景
- FPV航拍攝影/無人機攝影:飛行過程中會有很大的抖動,Gyrolow可以讓航拍視頻更流暢、更「電影化」。
- 動作/運動攝像機:跑步和騎自行車等運動場景也經常不穩定,使用陀螺儀數據進行輔助很有用。
- 攝影師/創作者希望避免使用純圖片算法將圖像「拉」得太厲害或在後期扭曲,陀螺儀數據可以提供物理基礎。
- 對視頻質量要求高的場景,例如紀錄片、視頻藝術、自然風景拍攝等。
Github:https://github.com/gyroflow/gyroflow
管材: