前有雷軍被換聲，后有靳東遭換臉。

3月4日，全國人大代表，小米集團創始人、董事長兼CEO雷軍建議針對“AI換臉擬聲”問題推出單行法，防范技術濫用，并稱自己就是受害者。

去年10月，雷軍專門發布視頻，表示有網友跟自己投訴國慶長假被“雷軍語音”連續罵了7天，讓自己非常困擾，呼吁大家不要再惡搞雷軍AI語音。

無獨有偶，第二天3月5日，在政協小組討論會上，全國政協委員、演員靳東回應了AI換臉導致的詐騙問題，他表示，“一些喜歡我影視劇的觀眾，被AI換臉視頻欺騙得很慘，這個性質非常惡劣，希望能建立更好的規則。”

他在提案中特別提到，大量的中老年女性因AI換臉詐騙遭受財產與情感雙重傷害，例如有人被偽造的“假靳東”誘導投資、轉賬，甚至引發家庭破裂。

這已經是他第二年推動《AI換臉擬聲》立法，他呼吁對所有的AI生成內容添加不可篡改水印，建立AI生成內容黑名單庫，實時攔截高仿賬號，并建立AI詐騙轉向補償基金，平臺按比例賠付受害者損失。

AI換臉技術并不復雜，只需要一張正臉照片，就能將視頻中的人物替換成自己的臉，可以說是一鍵換臉。

隨著AI技術的發展，AI換臉、AI擬聲已經成了重災區。

中老年女性深受其害

同一天，古天樂和林峯發布聲明，稱有線上游戲平臺利用AI技術，將自己的肖像、聲音及過往的視頻片段合成制作為帶有賭博性質的代言宣傳片。

宣傳片中刻意模仿了古天樂的“港普”口音，但整體畫面制作粗糙，AI痕跡明顯。

而早在幾年前，“真假靳東”的新聞就鬧得沸沸揚揚。

2020年，當時AI換臉還未興起，江西一位60歲大媽因沉迷短視頻上的“假靳東”賬號，聲稱“靳東已向我求婚”，離家出走赴長春“尋夫”，后被家屬勸返。

2023年，江西61歲的黃女士刷到經AI換臉合成的“靳東”視頻，被對方以“戀愛”為名誘導其轉賬，累計騙取6.8萬元，黃女士甚至抵押了房產，稱“愿為他付出一切”。

結合公安部數據，去年全國AI換臉詐騙案中，中老年女性占比62%，單案平均損失5.3萬元，最高達120萬元。

與高“收入”形成對比的是，AI換臉詐騙的門檻之低。

明星的照片、影像、聲音作為公開素材，可以0元使用；3.5萬元即可定制換臉模型；僅10分鐘就能合成一條定制化視頻。

年輕人拿AI換臉整活

而在以年輕人為主的平臺，“AI換臉擬聲”基本與詐騙兩字無關。

b站上，這是粉絲對明星另一種表達喜愛的方式。

以“AI換臉”和“AI翻唱”為關鍵詞搜索，可以找到一大堆制作精美的視頻，其中不乏百萬播放量。粉絲通過AI創作滿足了自己的好奇心，也起到了娛樂效果。

想要完全禁止AI換臉和AI擬聲是不可能的，但需要在自由創作和安全可控之間找到平衡，如果不能把握好這個度，那技術濫用的代價將由全社會共同承擔。

AI生成軟件要守好第一道防線，加強敏感詞過濾、限制生成風險場景、防止模型被盜用；內容發布平臺加強審核、舉報機制；政府部門加強法規建設、提高對AI內容的監管；用戶自身也要不斷提升對AI的認知。

當下只有各相關方行動起來，才能防止AI向失控化發展。