Synthesia 的 Deepfake 化身將擁有完整的身體
Posted: Tue Dec 03, 2024 5:46 am
Synthesia 正準備推出具有行動身體和手部的新版本化身。 Deepfakes 將能夠一邊跳舞一邊唱歌和擺動麥克風，從桌子上站起來並在房間裡走來走去，並表達更複雜的情緒，如興奮、恐懼或緊張。更新將在接近年底時發布。
“這非常令人印象深刻。沒有人能做到這一點，」未 澳大利亞商務傳真列表 參與 Synthesia 工作的巴斯大學科學家 Jack Saunders 評論道。
據他說，他看到的全身頭像非常好，儘管有一些小錯誤，例如雙手有時會相互交叉。但「你可能不會仔細觀察而注意到，」桑德斯說。
四月，Synthesia 發布了第一個版本的超現實化身。他們使用廣泛的言語模式，以便他們的面部表情和語氣與他們所說的文字內容相符。化身的外觀是由人工智慧系統中用於創建圖像和視訊的擴散模型生成的。然而，這一代的頭像僅顯示在腰部以上，這會影響其真實感。
為了創建全身化身，Synthesia 正在開發一個更大的人工智慧模型。使用者必須去工作室記錄他們的身體動作。但在完整的頭像出現之前，還會有另一個版本，有手並且能夠從不同角度進行記錄。他們的前身只能在縱向模式下使用，並且只能從正面看到。
其他新創公司，如 Hour One，也推出了類似的手部虛擬形象。 Synthesia 版本將於 7 月底發布，其手部動作和口型同步功能稍微更真實。
透過更新，創建自己的頭像將變得更加容易：如果以前用戶必須去工作室花幾個小時錄製臉部和聲音，新版本只需要 10 分鐘的素材，並且設備包括數位相機、便攜式麥克風和筆記型電腦。但一般來說，筆記型電腦的攝影機就足夠了。
如果之前需要分別記錄臉部動作和聲音，那麼這次數據是同時收集的。您還需要閱讀寫入同意文字和隨機產生的安全密碼。
該公司執行長 Victor Riparbelli 表示，這些變化將為人工智慧模型提供用更少的數據為虛擬人物提供更多功能的能力。他們也加快了這個過程：如果你之前需要等待幾週，現在頭像第二天就準備好了。
Synthesia 企業關係和政策部門負責人 Oleksandr Voyko 表示，自製頭像不如工作室頭像那麼真實，用戶無法用它們取代背景。手部動畫採用循環執行，即根據腳本內容重複相同的手部動作。
今年3月，Synthesia的科學總監Vittorio Ferrari表示，人工智慧很難處理手，甚至比處理臉部還要困難。這是因為在對話過程中，嘴唇的移動幅度不大，而且通常是可預測的，這使您可以將深度偽造與語音同步。
然而，手勢可以不同。另一方面，臉部需要密切注意細節，因為我們的注意力集中在它上面，所以手的移動有多可信並不那麼重要。
儘管不完美，但人工智慧的手和身體增加了化身的真實感，這在深度造假和虛假資訊時代會帶來額外的風險。 Synthesia 有嚴格的內容審核政策：客戶及其可以創建的內容類型都會受到檢查。例如，只有經過認可的新聞機構才能創建新聞內容。
桑德斯說：“化身技術的這些新進展對我們相信網上所見內容的能力造成了又一次打擊。”
「人們需要知道沒有什麼是可以信任的，」他說。 “Synthesia 現在正在這樣做，一年後其他公司也會這樣做。”
“這非常令人印象深刻。沒有人能做到這一點，」未 澳大利亞商務傳真列表 參與 Synthesia 工作的巴斯大學科學家 Jack Saunders 評論道。
據他說，他看到的全身頭像非常好，儘管有一些小錯誤，例如雙手有時會相互交叉。但「你可能不會仔細觀察而注意到，」桑德斯說。
四月，Synthesia 發布了第一個版本的超現實化身。他們使用廣泛的言語模式，以便他們的面部表情和語氣與他們所說的文字內容相符。化身的外觀是由人工智慧系統中用於創建圖像和視訊的擴散模型生成的。然而，這一代的頭像僅顯示在腰部以上，這會影響其真實感。
為了創建全身化身，Synthesia 正在開發一個更大的人工智慧模型。使用者必須去工作室記錄他們的身體動作。但在完整的頭像出現之前，還會有另一個版本，有手並且能夠從不同角度進行記錄。他們的前身只能在縱向模式下使用，並且只能從正面看到。
其他新創公司，如 Hour One，也推出了類似的手部虛擬形象。 Synthesia 版本將於 7 月底發布，其手部動作和口型同步功能稍微更真實。
透過更新，創建自己的頭像將變得更加容易：如果以前用戶必須去工作室花幾個小時錄製臉部和聲音，新版本只需要 10 分鐘的素材，並且設備包括數位相機、便攜式麥克風和筆記型電腦。但一般來說，筆記型電腦的攝影機就足夠了。
如果之前需要分別記錄臉部動作和聲音，那麼這次數據是同時收集的。您還需要閱讀寫入同意文字和隨機產生的安全密碼。
該公司執行長 Victor Riparbelli 表示，這些變化將為人工智慧模型提供用更少的數據為虛擬人物提供更多功能的能力。他們也加快了這個過程：如果你之前需要等待幾週，現在頭像第二天就準備好了。
Synthesia 企業關係和政策部門負責人 Oleksandr Voyko 表示，自製頭像不如工作室頭像那麼真實，用戶無法用它們取代背景。手部動畫採用循環執行，即根據腳本內容重複相同的手部動作。
今年3月，Synthesia的科學總監Vittorio Ferrari表示，人工智慧很難處理手，甚至比處理臉部還要困難。這是因為在對話過程中，嘴唇的移動幅度不大，而且通常是可預測的，這使您可以將深度偽造與語音同步。
然而，手勢可以不同。另一方面，臉部需要密切注意細節，因為我們的注意力集中在它上面，所以手的移動有多可信並不那麼重要。
儘管不完美，但人工智慧的手和身體增加了化身的真實感，這在深度造假和虛假資訊時代會帶來額外的風險。 Synthesia 有嚴格的內容審核政策：客戶及其可以創建的內容類型都會受到檢查。例如，只有經過認可的新聞機構才能創建新聞內容。
桑德斯說：“化身技術的這些新進展對我們相信網上所見內容的能力造成了又一次打擊。”
「人們需要知道沒有什麼是可以信任的，」他說。 “Synthesia 現在正在這樣做，一年後其他公司也會這樣做。”