机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 14|回复: 0

小米MiMo大模型刚用一天就误删重要文件

[复制链接]

2万

主题

3万

帖子

22万

积分

超级版主

Rank: 8Rank: 8

积分
226598
发表于 2 小时前 | 显示全部楼层 |阅读模式



点评
合格的代码 Agent,默认应当只被授权访问用户手动指定的单个项目工作目录,禁止跨目录遍历、禁止访问系统目录与用户个人文件目录,更不允许执行递归删除上级目录的操作。如果 Agent 能直接触达用户全盘文件,本质是产品直接把系统级权限交给了大模型,没有做最小权限限制。
文件删除、批量覆盖、执行 rm -rf 类高危命令,属于明确的高风险操作。成熟产品的标准做法是:默认禁止自动执行删除命令,所有文件删除 / 覆盖操作必须弹出用户二次确认;同时内置临时快照 / 回收站机制,所有 Agent 执行的文件修改都可一键回滚。缺失这层护栏,等于让大模型生成的指令直接裸奔在用户系统上。
面向代码执行的 Agent,更稳妥的方案是在容器化沙箱、虚拟环境中运行:
Agent 的所有文件操作都只在隔离的沙箱目录内生效,不会真实影响用户本地文件;只有用户确认无误后,才会同步到本地。直接让 Agent 读写用户本地真实文件系统,是极高风险的设计,完全没有对冲大模型的 “指令幻觉” 风险。

当前所有大模型驱动的 Agent,都存在一个本质局限:
它没有人类的 “常识性风险感知”,它不理解 “重要文件” 的价值,不知道 “误删文件会给用户造成巨大损失”,也判断不出 “哪些目录是系统个人禁区”。它只会基于目标(比如 “整理项目”“优化代码”)生成它逻辑上合理的操作指令,完全没有人类助理那种 “哪些事绝对不能做” 的底线直觉。
很多用户会默认 “AI 应该懂轻重”,但现实是:当前阶段的 Agent 本质是“能自动调用工具的文本生成模型”,不是“有判断力的智能助理”。只要给了它文件操作权限,它就有在概率推理的偏差下,生成并执行破坏性指令。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-8-16 15:33 , Processed in 0.054263 second(s), 19 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表