Jack Dorsey旗下的Block发布了一款来自公司研究实验室的新语音模型,该模型可在本地运行,带有笑声、停顿和哭泣等表达,听起来异常接近真人。公司表示,这款名为Dessa的模型完全基于人类语音训练,并且只需一块NVIDIA GPU即可运行。
Block称,Dessa是一个全双工模型,这意味着它可以像OpenAI今年早些时候发布的GPT-Live模型一样,同时说话和倾听。通常,语音模型会与大型语言模型搭配,用于知识检索。Block表示,Dessa的知识来源于其所训练的对话数据。
Block表示,当前模型之所以会显得不自然、甚至令人烦躁,是因为生成语音的流程中夹带了文本。许多模型,例如ElevenLabs v4或Fish Audio Drama 3,都会使用语音标签来驱动语音生成中的情绪。Dorsey的公司称,情绪是内置在其模型中的。不过,目前尚不清楚这种情绪是否由某种标签引导。
“与当前的语音AI互动简直糟透了。它把你的声音转成文本,丢掉了文本本身无法承载的大量信息。世界上最强大的AI都听不出你的感受。我们认为这很荒谬,会带来更差的体验,而且可能存在危险,”该公司在一篇博客文章中说。
公司研究人员发布了Dessa的多个对话示例,其中这个智能体会用不同的声音、语速和情绪说话。比如,在一段对话中,机器人说自己因为工作而疲惫,而那时它听起来也确实很疲惫。
在下面的示例中,机器人在谈论让它感到舒适的人时,声音带着情绪,几乎像要崩溃一样。
另一个示例显示,Block团队成员正在与这款语音助手玩游戏。
Block表示,这款模型可以在消费级电脑上本地运行,例如MacBook M4 Max或更高配置。不过,目前Dessa尚未向公众开放,Block已邀请安全研究人员测试该模型。这很可能是为了检验语音代理在另一端可能如何欺骗人们。
Block主营金融业务,并向小企业销售其解决方案。Square已经在使用语音AI处理订购业务。但借助这款可以在设备端运行的自有语音模型,它能够以更低成本支持更多面向企业和消费者的体验。











