美攝iOS端短視頻SDK視頻編輯的流程及方法

美攝短視頻SDK提供視頻編輯功能，支持視頻圖片素材混合導(dǎo)入、濾鏡、配音、時(shí)間特效、畫中畫等豐富的編輯效果。本文介紹iOS端短視頻SDK視頻編輯的流程及方法。
短視頻SDK主要包含“視頻錄制”和“視頻編輯”這兩個(gè)核心功能。
視頻錄制包括：視頻采集、美顏、濾鏡、攝像頭切換、視音頻采集參數(shù)設(shè)置等功能；
視頻編輯包括：視頻導(dǎo)入、合成、特效、濾鏡、字幕、貼紙、音樂、播放、導(dǎo)出等功能。
一、短視頻SDK框架
短視頻SDK的技術(shù)框架分為三個(gè)層級(jí)，分別為核心處理層、業(yè)務(wù)邏輯層和業(yè)務(wù)接口層：
核心處理層：負(fù)責(zé)短視頻底層的技術(shù)實(shí)現(xiàn)，包括媒體組合、GPU數(shù)據(jù)輸入、視頻過渡、視頻特效、視頻像素、添加字幕/貼紙、圖像轉(zhuǎn)視頻、GPU數(shù)據(jù)、音視頻處理、音頻混響、音頻調(diào)節(jié)、音頻延時(shí)、視頻預(yù)覽和媒體合成；
業(yè)務(wù)邏輯層：負(fù)責(zé)短視頻業(yè)務(wù)邏輯的實(shí)現(xiàn)，包括錄制邏輯處理和編輯邏輯處理兩部分，具體包括素材時(shí)間線管理、音頻時(shí)間線管理、過渡效果管理、字幕圖層管理、貼紙圖層管理和視頻特效管理；
業(yè)務(wù)接口層：負(fù)責(zé)向上業(yè)務(wù)的對(duì)接，包括錄制接口和編輯接口。

二、視頻錄制
視頻錄制的實(shí)現(xiàn)流程就如上圖所示，首先開啟采集攝像頭進(jìn)行畫面以及聲音的采集，在采集過程中支持分別對(duì)采集的數(shù)據(jù)進(jìn)行視頻處理和音頻處理，包括濾鏡、降噪、添加貼紙、混音等，處理完成后進(jìn)入視頻編輯環(huán)節(jié)，最終通過ffmpeg編碼并生成MP4文件。視頻錄制全程采用了GPU以及硬件編碼，使得CPU使用率非常低，即使在性能較差的手機(jī)上也能很好的運(yùn)行。
三、視頻編輯
視頻編輯是指對(duì)錄制或選定的視頻內(nèi)容進(jìn)行編輯處理，其業(yè)務(wù)流程為先將需要編輯的視頻內(nèi)容進(jìn)行導(dǎo)入，然后在分別進(jìn)行視頻和音頻處理，包括添加濾鏡、字幕、貼紙、視頻裁剪及復(fù)制、視頻變速及旋轉(zhuǎn)、添加背景音樂、混音等，處理完的音視頻可進(jìn)行媒體即時(shí)預(yù)覽，最后將編輯完成的媒體文件進(jìn)行合成并導(dǎo)出。
1、視頻處理
視頻處理的實(shí)現(xiàn)流程如上圖所示，將輸入的視頻內(nèi)容進(jìn)行裁剪、分割、復(fù)制、旋轉(zhuǎn)、濾鏡等視頻過渡和特效處理，此外還支持添加字幕和貼紙，處理后的視頻內(nèi)容通過混合器進(jìn)行混合，最后編碼輸出。
視頻處理主要是利用ffmpeg進(jìn)行相應(yīng)的處理，將原始的視頻進(jìn)行解碼，然后將解碼后的YUV數(shù)據(jù)映射到GPU的紋理上進(jìn)行相應(yīng)的參數(shù)調(diào)節(jié)，然后將調(diào)好的參數(shù)配置進(jìn)行編輯處理。
2、音頻處理
音頻處理的實(shí)現(xiàn)流程如上圖所示，首先需要從視頻源中分離出音頻軌道，形成原生的音頻軌道，然后將添加的背景音樂的音頻軌道插入原聲的音頻軌道中，通過調(diào)整原聲和背景音樂的音量，形成原始音頻和背景音樂的混合，最后通過媒體合并將混合后的音頻軌道與處理完的視頻軌道進(jìn)行相關(guān)類合成。
3、媒體預(yù)覽
媒體預(yù)覽的實(shí)現(xiàn)流程如上圖所示，將視頻內(nèi)容、音頻內(nèi)容和背景音樂等可變內(nèi)容通過自定義合成線程進(jìn)行處理，包括信息傳遞、過渡等，最后對(duì)處理后的視音頻通過播放器進(jìn)行即時(shí)預(yù)覽。
4、媒體合成
媒體合成的實(shí)現(xiàn)流程如上圖所示，首先按照時(shí)間鏈讀取處理后的需要合并的多個(gè)視頻內(nèi)容和混音后的音頻內(nèi)容，然后開始分別對(duì)視頻內(nèi)容和音頻內(nèi)容進(jìn)行合并，合并實(shí)現(xiàn)方式為對(duì)視頻內(nèi)容和音頻內(nèi)容做基于ffmpeg的編碼，將編碼后的視音頻合并為整體的媒體文件，最后對(duì)外輸出合并后mp4文件。

四、短視頻應(yīng)用場(chǎng)景
1、電商產(chǎn)品展示
商家端可通過短視頻SDK將拍攝的視頻或圖片快速進(jìn)行合并、裁剪和編輯，配合字幕、貼紙、音樂等特效，制作商品展示短片，更形象的展示商品，提升用戶購物體驗(yàn)。結(jié)合京東云點(diǎn)播產(chǎn)品和播放器SDK，可形成完成的短視頻端到端解決方案。
2、社交創(chuàng)意分享
短視頻有助于用戶更生動(dòng)的表達(dá)觀點(diǎn)，傳遞更真實(shí)的場(chǎng)景。此外還可通過美顏、濾鏡、字幕、貼紙等特效，合并和剪輯等功能來制作新的視頻，將個(gè)人創(chuàng)意或焦點(diǎn)內(nèi)容合成一個(gè)新的短視頻，提高視頻熱點(diǎn)和點(diǎn)擊率。
總結(jié)
以上就是iOS端短視頻SDK 的主要技術(shù)實(shí)現(xiàn)方式，美攝短視頻SDK可為客戶提供完整的短視頻解決方案，幫助用戶聚焦業(yè)務(wù)本身的同時(shí)能夠快速具備短視頻業(yè)務(wù)支撐的能力，歡迎大家在美攝官網(wǎng)體驗(yàn)短視頻DEMO和下載集成。