返回上一页  首页 | cnbeta报时: 03:21:14
Delavande:可估算AI聊天机器人消息消耗电量的工具
发布日期:2025-04-24 22:13:56  稿源:cnBeta.COM

你是否想过,当你提示或感谢人工智能模型时,会消耗多少电量?Hugging Face 工程师 Julien Delavande 就曾想过这个问题,因此他开发了一个工具来帮助你找到答案。

1745504029178.png

人工智能模型每次运行时都会消耗能源。它们运行在 GPU 和专用芯片上,需要大量电力才能大规模执行相关的计算工作。确定模型的功耗并非易事,但人们普遍预计,人工智能技术的日益普及将在未来几年推动电力需求达到新的高度。

人工智能对更多电力的需求,导致一些公司采取了不环保的策略。像 Delavande 这样的工具旨在引起人们对这一问题的关注,或许还能让一些人工智能用户有所顾虑。

Delavande 和该工具的其他创建者在一份声明中写道:“即使很小的节能效果也可以扩展到数百万个查询——模型选择或输出长度可能会对环境造成重大影响。”

Delavande 的工具旨在与 Chat UI 配合使用,Chat UI 是 Meta 的 Llama 3.3 70B 和 Google 的 Gemma 3 等模型的开源前端。该工具实时估算模型发送和接收消息的能耗,并以瓦时或焦耳为单位报告能耗。它还将模型的能耗与微波炉和 LED 等常见家用电器的能耗进行比较。

根据该工具,要求 Llama 3.3 70B 编写一封典型的电子邮件大约需要 0.1841 瓦时 - 相当于运行微波炉 0.12 秒或使用烤面包机 0.02 秒。

不过,该工具的估算仅仅是估算而已。Delavande 并没有声称它们非常精确。尽管如此,它们仍然提醒我们,一切事物——包括聊天机器人——都是有成本的。

“通过人工智能能源评分等项目以及对人工智能能源足迹的更广泛研究,我们正在推动开源社区的透明度。总有一天,能源使用情况可以像食品上的营养标签一样清晰可见!”德拉万德和他的联合创始人写道。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 03:21:14

文字版  标准版  电脑端

© 2003-2025