繁中

GyroFlow:基於陀螺儀數據的視頻穩定應用程式

GyroFlow:能夠通過運動數據準確穩定視頻。陀螺儀數據從各種現代相機內部記錄(例如,GoPro、索尼、Insta 360等)以及外部設備提供的陀螺儀數據(例如,Betafflight黑匣子)。
主要功能包括實時預覽、參數調整、圖形處理和渲染、滾動快門修正等,可以直接在視頻編輯軟體中應用穩定效果,無需進行代碼轉換。

1.項目是什麼?

  • 全名:GyroFlow -「使用陀螺儀數據進行視頻穩定」。
  • 功能:它可以讀取視頻中或外部記錄的陀螺儀數據(有時帶有加速度計/加速度計數據),然後使用這些數據幫助糾正視頻中的抖動,使畫面更流暢、更穩定。
  • 免費開源:這是一個開源項目,並根據GPT-3.0獲得許可。您可以在開源許可證允許的範圍內自由使用、修改和分發。

2.主要特點/優勢

以下是它的一些關鍵功能(即,比常規軟體更好或僅依賴視頻圖像算法進行穩定):

特性角色/優勢
使用陀螺儀/加速計+視頻圖像中的抖動可以通過物理運動數據更準確地補償,例如陀螺儀數據可以準確地告訴您相機如何旋轉,使穩定更加自然準確。
鏡頭校正不同的鏡頭具有不同的失真,會影響矯正效果,Gyrolow包括一個鏡頭輪廓資料庫來矯正這種情況。
捲簾快門校正當使用帶有互補金屬氧化物傳感器的相機快速移動時,滾動快門可能會導致失真/傾斜效應,而Gyrolow可以對此進行糾正。
支持廣泛的硬體/格式支持多種品牌/型號的動作相機、無人機、無人機、RW視頻格式、外部陀螺儀日誌等。
用戶界面+實時預覽+圖形處理器加速用戶友好的界面,具有實時預覽、硬體加速渲染。這可以讓您在調整參數時快速看到效果。
插件支持它可以用作視頻編輯軟體中的插件,無需在導入編輯器之前渲染穩定性,例如DaVinci Resolve、Adobe Premiere/After Effects、Final Cut Pro等作為項目文件/插件。

3.架構/實施

以下是它的設計方式以及值得注意的技術要點:

  • 核心庫(GyroFlow核心): 處理所有穩定算法+像素處理邏輯。圖形用戶界面/前端界面、插件、解碼編碼等都是建立在這個核心之上的。
  • 模塊化設計:核心庫不假設視頻源、UI、解碼器/編碼器的特定製作方式。也就是說,您可以在不同的平台和不同的前端上使用它。
  • 多線程+硬體加速:多種計算(圖像處理、同步、過濾等)是多線程的,並且使用圖形處理器來加速渲染/輸出。
  • 同步:視頻幀和陀螺儀數據必須同步(包括時間戳、偏差等)以正確地補償運動。這個同步過程很重要。
  • 光流量算法/可選補充:當陀螺儀或加速度計數據不足和/或需要進行細節修正時,一些算法(光通量)可以提供幫助。

4.限制/挑戰

雖然Gyrolow很強大,但它不是萬能藥,以下是您可能遇到的一些問題或需要注意的問題:

  • 需要陀螺儀數據:如果視頻中沒有陀螺儀數據,或者如果外部沒有適當的日誌/日誌,則無法使用其完整功能。只能使用一些估計或輔助方法。
  • 數據同步問題:即使有陀螺儀數據,如果時間戳不同步、延遲較大、錄製不準確,也會導致修正不準確,可能導致畫面「漂移」或仍然晃動。
  • 裁剪/縮放:為了穩定框架,通常需要裁剪框架的邊緣或放大以補償移動,這意味著有效框架將縮小/丟失框架邊緣的信息。
  • 加工性能要求:高解析度視頻+高幀率+使用光流+大鏡頭畸變校正等功能會對計算機/GPU性能有很高的要求。實時預覽或大容量處理可能需要更好的硬體。
  • 視覺失真或失真問題:如果鏡頭矯正不準確,或者圖像嚴重失真(例如魚眼廣角鏡頭),矯正效果就會受到限制,有時會造成不自然的失真。
  • 學習曲線:雖然界面和文檔試圖易於使用,但在調整參數(例如鏡頭矯正強度、平滑因子、水平鎖定等)方面進行了一些嘗試和錯誤使畫面穩定自然。

5.典型使用過程

使用Gyrolow的常見過程可能如下所示:

  1. 拍攝視頻
    使用支持陀螺儀數據記錄的相機拍攝視頻。確保陀螺儀輸入已打開,如果是動作相機、無人機或某些無人機,請確保輸入模式正確(例如,不要打開相機內部的一些電子穩定器/穩定器,或避免重疊穩定功能引起的衝突)。
  2. 獲取陀螺儀日誌/數據(如果是外部的)
    如果相機沒有內置良好的陀螺儀數據,則需要外部記錄,例如無人機飛行控制器黑匣子或專用運動記錄器。
  3. 將視頻+陀螺儀數據導入到GyroFlow
    導入同步陀螺儀數據時,在Gyrolow軟體中打開視頻。如果相機支持鏡頭配置,則鏡頭配置文件可以自動加載或從資料庫中選擇。
  4. 刪除視頻幀+運動數據
    調整時間偏差等,將運動與視頻幀對齊是關鍵的一步。
  5. 調整穩定參數
    例如,平滑度、水平調平、鏡頭失真修正強度、滾動式快門修正、不同軸的旋轉限制(俯仰、偏轉、滾動)等。它還可以通過光學流動來輔助。
  6. 實時預覽/檢查效果
    在預覽窗口中觀察效果,查看圖片是否光滑自然,是否裁剪過多,是否存在殘留抖動或失真。
  7. 出口
    滿意後即可輸出視頻,或者如果您使用插件方法,則可以直接在視頻編輯軟體中進行處理。輸出時選擇合適的格式/解析度/比特率等。

6.使用場景

  • FPV航拍攝影/無人機攝影:飛行過程中會有很大的抖動,Gyrolow可以讓航拍視頻更流暢、更「電影化」。
  • 動作/運動攝像機:跑步和騎自行車等運動場景也經常不穩定,使用陀螺儀數據進行輔助很有用。
  • 攝影師/創作者希望避免使用純圖片算法將圖像「拉」得太厲害或在後期扭曲,陀螺儀數據可以提供物理基礎。
  • 對視頻質量要求高的場景,例如紀錄片、視頻藝術、自然風景拍攝等。

Github:https://github.com/gyroflow/gyroflow

管材:

返回頂端