加速 TPUs 上的影片擴散模型時空注意力機制

Google Developers 針對高解析度影片擴散模型中自注意力機制所面臨的二次延遲瓶頸問題，開發並發布了 Sparse VideoGen (SVG) 技術。這項技術的核心在於演算法層面的創新，透過動態路由機制，將注意力頭精確導向高度結構化的空間或時間稀疏遮罩，從而將理論上的演算法稀疏性轉化為實際硬體運算的效能提升。

為了將這種演算法優勢在 Google 的 TPUs 硬體平台上實體化，開發團隊對 Splash Attention 核心進行了深度的工程優化。具體的技術實作包含三個關鍵步驟：首先，系統設計為直接跳過空的記憶體磁磚，避免無效運算；其次，將精確座標遮罩的應用範圍嚴格限制在邊界磁磚，以確保計算的精確性與效率；最後，將 token 的記憶體配置重新排列為時間優先順序，以實現記憶體的連續存取，減少存取延遲。

這些硬體層面的優化措施，旨在讓稀疏遮罩的邏輯與實際硬體磁磚的執行模式完美對齊。透過這種對齊，系統大幅減少了浪費的矩陣運算資源，提升了整體運算效率。最終的測試結果顯示，結合上述演算法與硬體優化的 SVG 技術，在處理 1440p 高解析度影片生成任務時，成功達成了最高 1.69 倍的端到端推理加速，顯著提升了影片生成的處理速度與資源利用率。