[[409522]]

視頻已逐漸超過文字和圖片，可以說成為了現在使用最廣的媒體形式，同時也占據了用戶更多的瀏覽時間，這就使得視頻理解變得尤為重要。

各大互聯網公司與頂尖高校紛紛絞盡腦汁，競相研究SOTA的視頻理解模型與算法。

在谷歌，臉書，Open-MM Lab等分別祭出各家殺器之后，臉書人工智能實驗室（Facebook AI）在推出PySlowFast之后時隔一年，攜PyTorchVideo重回戰場。

官方網站: https://pytorchvideo.org/

今天我們就來扒一下，PyTorchVideo究竟是怎樣的一個代碼庫，又如何能在開源當天就躋身于GitHub Trending榜單。

PyTorchVideo哪兒都能用

不同于在座的各位視頻代碼理解框架只醉心于自家框架，無法移步與其他代碼庫。

PyTorchVideo像是torchvision等基礎代碼庫一般，「哪兒都能用」！PyTorchVideo不但可以用在視頻理解任務中，甚至可以用在其他任務的代碼庫。

臉書人工智能實驗室的大佬們不但在「自家人」的PySlowFast代碼庫上無縫使用上了PyTorchVideo，并且還在Classy Vision，PyTorch Lightening等等框架上無縫插入。

作為含著金鑰匙出生的PyTorchVideo，其直接成為了PyTorch Lightning-Flash的視頻理解擔當，作為基礎庫被默認使用。

這不，在FiftyOne項目中，開源社區的吃瓜群眾就利用Lightning-Flash搞出了一個瀏覽視頻的工具箱，可以直接查看視頻的動作類別。

FiftyOne: https://medium.com/pytorch/ushering-in-the-new-age-of-video-understanding-with-pytorch-1d85078e8015

PyTorchVideo啥都能做

更厲害的是，PyTorchVideo似乎「啥都能做」！不但在視頻分類，動作檢測等任務中深耕SOTA。

甚至還「略懂」LeCun最愛的自監督學習，以及音頻事件檢測等等千奇百怪的任務也不在話下。

基于PyTorchVideo的SlowFast模型進行動作監測

PyTorchVideo手機也能玩

更喪心病狂的是，PyTorchVideo一并開源了移動端的加速優化，不但提供了手把手的教程，將視頻模型一步步優化核心Kernel，量化（quantilize）加速。

數倍加速后在移動端實時運行，甚至官方直接暴力放出Android和iOS移動端開源代碼，將SOTA的視頻模型直接塞到手機里跑著玩玩。

在三星Galaxy S10手機上運行的PyTorchVideo加速X3D模型，運行速度快8倍，處理一秒視頻大約需要130毫秒

PyTorchVideo是個啥

PyTorchVideo的真身是一個視頻理解的機器學習庫，可以服務于各種代碼庫，以及各類SOTA視頻模型模型和開源視頻模型。

以及各種視頻基礎算法，視頻數據操作，各類流行視頻數據集，視頻增廣，視頻模型加速量化，等等一些列的全棧視頻相關內容。

PyTorchVideo怎么玩

首先pip一下。

pip install pytorchvideo 

然后，在瀏覽官方的教程并上手實驗了一下之后，發現通過PyTorchVideo只需要寥寥幾行就可以訓練一個視頻模型：

from pytorchvideo import data, models, accelerator 
# Create visual and acoustic models. 
visual_model = models.slowfast.create_slowfast( 
    model_num_class=400, 
)  
acoustic_model = models.resnet.create_acoustic_resnet( 
    model_num_class=400, 
)  
# Create Kinetics data loader.  
kinetics_loader = torch.utils.data.DataLoader( 
    data.Kinetics( 
        data_path=DATA_PATH, 
        clip_sampler=data.make_clip_sampler( 
            "uniform",  
            CLIP_DURATION, 
        ), 
    ) 
    batch_size=BATCH_SIZE, 
)  
# Deploy model. 
visual_net_inst_deploy = accelerator.deployment.\  
    convert_to_deployable_form(net_inst, input_tensor) 

那么從開源的訓練模型庫中直接使用模型效果如何？

model = torch.hub.load("facebookresearch/pytorchvideo", model=model_name, pretrained=True) 

官方的模型庫太豐富，簡直眼花繚亂。

Kinetics-400

Something-Something V2

Charades

AVA (V2.2)

甚至通過PyTorchVideo加持的 Lightning Flash，分類視頻僅僅只需三行。

from flash import VideoClassifier  
model = VideoClassifier.load_from_checkpoint("checkpoint_uri") 
model.predict("path_to_video_folder") 

據官方博客透露，PyTorchVideo開源了一大票視頻模型，包括臉書人工智能實驗室近期出現在ICCV，ICML等工作：

• Multiscale Vision Transformershttps://arxiv.org/abs/2104.11227
• A large-scale study on unsupervised spatiotemporal representation learninghttps://arxiv.org/abs/2104.14558
• Multiview pseudo-labeling for semi-supervised learning from videohttps://arxiv.org/abs/2104.00682
• Is space-time attention all you need for video understanding?https://arxiv.org/abs/2102.05095
• Keeping Your Eye on the Ball: Trajectory Attention in Video Transformershttps://arxiv.org/abs/2106.05392
• SlowFast networks for video recognitionhttps://arxiv.org/abs/1812.03982
• X3D: Expanding architectures for efficient video recognitionhttps://arxiv.org/abs/2004.04730
• Audiovisual SlowFast networks for video recognitionhttps://arxiv.org/abs/2001.08740
• Non-local neural networkshttps://arxiv.org/abs/1711.07971
• A closer look at spatiotemporal convolutions for action recognitionhttps://arxiv.org/abs/1711.11248
• Video classification with channel-separated convolutional networkshttps://arxiv.org/abs/1904.02811

似乎MultiScale Vision Transform也位列其中，有興趣的朋友可以去一探究竟。