快手是一個用視頻記錄和分享生活的平臺，優化視頻的生産、編輯和消費體驗，是快手研發工程師們的工作重心。其中，特效技術可以在普通拍照畫面中增加各種新奇有趣的元素，衍生出各種奇思異想的新玩法；而音視頻技術則幫助用戶更加方便、舒適地看到各類繁複玩法的視頻，實現短視頻、直播、連麥、K歌等多場景下的音頻自然、真實、清晰。

　　隨著4月26日世界知識産權日的到來，快手向外界展示了快手近年來在視頻生産、編輯、消費體驗方面蘊藏的豐富科技創新“絕活”。

　　特效，讓拍攝更好玩兒

　　以往的酷炫特效技術由於計算量大，只能借助算力龐大的PC端和服務端進行創作。隨著移動時代的來臨，迫切需要將這種能力轉移到移動端，並與視頻拍攝巧妙結合起來，讓用戶隨時隨地感受到拍攝的樂趣，創作出個性化的作品。快手通過自研AI推理引擎、模型壓縮演算法，在不降低特效體驗的前提下，將計算量大幅壓縮，普通手機即能滿足要求，因此誕生了快手APP上成百上千的魔法表情。

　　隱身魔表

　　2020年，在快手和江蘇衛視聯手打造的“一千零一夜”晚會上，迪麗熱巴當場表演了一個隱身絕技，驚艷全場。不需要任何道具的支持，只需要應用快手最新開發的魔法表情就能輕鬆實現。這是結合單圖圖像修復和幀間圖像對齊技術的視頻修復演算法，在短視頻行業中的首次應用，快手在這方面走在了行業的前頭。如此好玩的特效迅速獲得了用戶的喜愛，上線幾天時間，快手用戶就玩得飛起，迅速貢獻了近80萬個相關作品。

　　視頻修復涉及到多幀計算，其深度學習模型普遍計算量較大，很難在移動端運行。快手的工程師們將演算法整體分成了兩個階段：首幀使用移動端腦補模型實現對人像區域的背景填充，後續幀使用幀間實時跟蹤匹配投影，實現可見背景區域向人物遮擋區域的填充。其中對訓練方法、訓練數據和損失函數做了一系列優化，這一套技術組合拳後，不僅隱身功力一流，並且在各種機型上都能輕鬆實現。

　　年齡漸變魔表

　　2020年春節期間，快手以年齡漸變為主題，上線了一系列魔法表情，實現了圖像人物從娃娃臉到老年等全過程的特效，這一特效可以讓用戶回憶年少的模樣、展望變老後的模樣，用科技手段增加了人間溫度感。

　　該特效基於深度學習的生成式對抗網絡(GAN)，結合快手積累的大量數據集及定制化的模型壓縮技術，才能達到實時在手機端實現的效果。利用快手自研的YCNN深度學習推理引擎和壓縮演算法，才使得這種複雜任務在手機端流暢運行，甚至能夠惠及各種中低端機型。

　　混合現實特效

　　快手研發落地了混合現實新特效，用戶通過快手的MR混合現實系統可以實時體驗虛實遮擋、體表運動、虛擬打光、物理碰撞等虛實交互特性。快手最近半年已上線了“新春燈牌”“辭舊迎新”“蹦迪濾鏡”等多款 MR魔表，是國內首家上線該技術的公司，極大地激發了用戶創作的熱情，提高了用戶的視頻創作體驗。相關技術論文已被歐洲計算機視覺國際會議(ECCV)2020等收錄。

　　從二維圖像中恢復三維信息是實現這些功能的基礎，其中自然場景的深度估計是一大難題，技術團隊從模型、演算法、訓練方法和數據上全面改進，改善了深度估計的品質，實現了移動端實時單目深度估計。快手也利用這些技術創新，在産品側推廣落地了立體照片、景深虛化等新玩法。

　　很多特效是在真實拍攝對象上增加了虛擬能力，呈現出亦真亦假的效果，其中自然、真實的特效是用戶體驗的關鍵，即讓特效圖像既像真人，又非真人，甚至産生讓人信以為真的效果。這個看似簡單的功能背後需要強大的演算法支撐，快手克服訓練數據、模型結構、演算法邏輯等各方面困難，推出了一系列爆款特效。

　　童話風格魔表

　　快手推出的童話魔表特效，可以讓每個人輕鬆實現自己的王子夢、公主夢，把自己變成童話形象的神奇效果，引來楊冪、迪麗熱巴、婁藝瀟等明星紛紛曬出自己的公主變身效果。

　　其實真人變卡通圖、日漫二次元圖像早已不是新鮮事，但是童話風格與日漫風格存在很大差異，不僅要保留真人容貌特點，還要實現動畫的3D人像風格，既要風格像，也要內容像，加上訓練數據不足，進一步加大了這一技術的實現難度。 針對以上這些難題，快手Y-tech團隊的AI工程師採用了自研的KStyleGAN結構，在3D空間中表徵人臉結構、進行風格映射，並採用神經網絡渲染來精細控制結果圖的質感，有效克服了常規基於2D表徵的StyleGAN方法的缺陷，並在移動端上落地了實時特效。

　　二次元風格魔表

　　“我慕容魔表，對著大地，對著天空，對著雲，對著風，對著快手園區發誓：我一定要圓你的主角夢!”你還記得那些瑪麗蘇文嗎，是否也幻想成為霸道總裁或瑪麗蘇女主？2020年“十一”前夕，快手推出了一系列言情手繪魔表，上線後迅速火爆網絡。

　　快手工程師介紹，相比於此前的一些特效玩法，“手繪”系列最大的不同，是需要兼顧真實感、美感以及卡通效果三方面的要求。也就是説，既要最大程度保留用戶本人的五官和外形特徵，還要具備手繪風格的美學和藝術效果。快手特效中心團隊研發了一個基於GAN（生成式對抗網絡）的圖像翻譯和風格遷移學習訓練框架，結合此前CycleGAN、U-GAT-IT等技術的主要優點，並根據實際需求進行了定制化的開發和優化。

　　音視頻創新，讓交流更暢快

　　好玩兒的視頻生産出來，怎麼傳送給觀眾觀看？怎麼提高視頻消費環節的用戶體驗？這是快手音視頻團隊的核心關注。在刷視頻的體驗越來越好的背後，是音視頻黑科技的不斷迭代和落地應用。一方面，讓視頻的品質不斷提高，讓用戶享受更清晰、更真實的顯示效果；另一方面，要讓看視頻更加流暢，在不同環境下、不同硬體上都能流暢觀看視頻，避免視頻卡頓、延遲等不好體驗，做到真正的科技普惠。

　　HDR視頻：讓用戶“身處其中”

　　2021年初，快手宣佈全面支持多種高動態範圍(HDR)格式視頻的上傳和消費，為用戶帶來全新的畫質體驗。HDR技術讓像素的動態範圍、色域和位深三個維度全面得到改善，讓視頻畫面中的每個像素具備了更高的表達能力。這一技術的出現，適應了用戶對更高視頻體驗的要求，適應了信息技術的變革發展。

　　相對於傳統的SDR視頻，HDR擁有更加出色的表現能力，可以讓用戶在螢幕上看到更接近事物真實狀態的圖像。隨著支持HDR拍攝的機型越來越多，HDR會在用戶中得到更廣泛普及。快手的黑科技不僅在於實現HDR格式視頻的上傳和編輯，以及在支持HDR顯示的手機上正確播放，還在於讓HDR視頻在非HDR手機上也能正確觀看，畫質也會根據演算法進行調整和提升，儘量還原視頻效果。因為各家視頻拍攝軟體採用的HDR格式都不統一，視頻上傳到伺服器後，往往會出現適配麻煩。但在快手上，後端轉碼會把不統一的HDR轉成統一的HDR10格式，把視頻普惠分發到每台支持HDR的設備上。

　　音頻技術：讓用戶“聲臨其境”

　　快手上的聲音場景比較複雜，有短視頻、直播、聊天室、PK、KTV等場景下的聲音，也有涉及不同位置間的語音交互，語音在雙向、多向傳遞過程中的品質保障非常重要。常見的聲音延遲、噪音、響度不均、混響、回聲等問題，都會明顯影響用戶的收聽體驗。快手在直播RTC語音技術、短視頻智慧音頻技術和K歌音頻技術方面取得一系列進展，保障了用戶的收聽體驗。

　　在直播RTC語音方面開發了AEC回聲消除技術，在多個産品上落地應用，包括：小快機器人，通過AEC消除音樂回聲干擾，大幅提高喚醒率；直播伴侶，通過AEC消除外錄的遊戲音效，再內混遊戲音效實現高音質直播；主站K歌打分，通過AEC消除BGM回聲干擾，大幅提高打分準確度。此外，基於深度學習的AI語音降噪、多碼率優化、丟包率自適應恢復策略、音頻超分等技術提高了實時語音的準確性和清晰度。

　　在短視頻音頻方面，平臺應用的響度控制處理技術和標準，有利於規範平臺音頻 響度和動態範圍的平衡，避免響度戰爭。同時讓短視頻內容的聲音響度體驗更加一致，避免切換不同視頻時，聲音響度忽大忽小。在K歌音頻方面，利用神經網絡消除或減輕用戶K歌過程中所産生的噴麥噪聲，提升K歌作品的音質，解決普通用戶沒有專業設備的噴麥或風噪問題。

　　多碼率優化：讓用戶社交無礙

　　快手是個普惠的平臺，其用戶基數大，分佈廣，網絡環境差異大，尤其在偏遠山區，刷視頻、看直播，卡頓是常有的事。快手的一項“多碼率自適應”技術可以有效緩解以上難題。

　　日前，快手憑藉一項“多碼率自適應”技術的專利——“媒體碼率自適應方法、裝置、計算機設備及存儲介質”獲得第六屆北京市發明專利三等獎。該項專利首次提出短視頻場景下的多碼率架構及先進的多碼率自適應演算法，可以顯著降低觀看短視 頻時的播放卡頓率，有效改善因網絡條件差導致的視頻卡頓現象。

　　為保障不同硬體設備和網絡環境用戶間的暢通交流，快手持續就“碼率自適應技術”迭代更新。2020年6月，快手正式對外發佈基於流式的直播多碼率自適應標準LAS(LiveAdaptiveStreaming)，用於提供低延遲、平滑、流暢的直播多碼率體驗。據悉，快手同時開源了LAS的端到端解決方案，包括服務端、客戶端、業界領先的多碼率自適應演算法等，幫助業界實現零門檻接入和使用LAS。

　　在開發技術的同時，團隊就碼率自適應技術持續迭代更新，至今已申請相關專利20余件。

　　快手持續為創新保駕護航

　　企業的發展離不開技術的創新推動。

　　作為一家以人工智能為核心技術的科技企業，快手一直重視對研發投入及知識産權保護，先後被評為“國家知識産權優勢企業”“北京市知識産權示範單位”“中關村知識産權領軍企業”。

　　走進快手公司，一面專利墻映入眼簾。據了解，快手持續在先進的短視頻生産方法、推薦技術、音視頻技術等領域進行專利佈局，同時圍繞專利、商標、著作權和域名建立全方位的、有前瞻性、有策略性的知識産權保護體系，為技術創新構 建起堅固的護城河。經過多年努力，目前快手專利申請量達4000余件。

　　不僅是強化自身知識産權保護，快手也非常重視對平臺用戶或權利人的知識産權保護。通過便捷維權舉報入口和設立官方維權郵箱等方式，建立知識産權維權機制，監控和打擊各類專利、商標侵權行為，切實履行平臺責任義務，凈化內外部市場環境。在持續完善知識産權保護體系建設的同時，快手積極參與互聯網行業的各類技術和知識産權交流探討活動，參與中國人工智能産業發展聯盟學術與知識産權工作組組織的《中國人工智能産業知識産權白皮書2020》部分編寫工作，攜手共建知識産權保護環境。

　　“未來，我們還將繼續依託于技術和産品的不斷推陳出新，幫助普通用戶以更豐富的視角探索世界、發現美好，同時也會更加注重知識産權保護，用有溫度的科技提升每個人獨特的幸福感。”快手相關工作人員表示。