← 返回 AI基础学习
模块 A4 · 通识底座 · 必修

AI 时代的风险意识

AI越强大,使用它的人就越需要懂得边界与责任

8
知识模块
20
分钟阅读
16
安全检查项
3
场景测验
🚨
🌀
🔐
🏢
⚖️
🤖
🎯
🚨

为什么必须学风险

AI越强,误用成本越高

AI不是文字游戏,它的输出正在被用于真实场景:

📝

写进合同和报告

错误信息造成法律纠纷

💊

用于健康决策参考

错误建议危害身体

📧

自动发送给客户

错误内容损害品牌

💰

依据数据做投资决策

虚假数据导致亏损

🎓

用于教学和考试

错误知识误导学生

🏛️

写入政府文件

不实信息影响政策

记住:AI的能力和风险是同步上升的。Agent能自动执行100个任务,也能自动放大100个错误。学会风险管理不是阻止你用AI,而是让你用得更稳、更准、更持久

🌀

幻觉与错误信息

AI最危险的"超能力"

AI幻觉是指AI自信满满地输出完全虚假的信息。它不会说"我不知道",而是编造一个看起来完全合理的答案。这是AI最危险的特性 — 因为你越信任AI,就越难发现它在胡说

📚学术引用
⚖️法律条文
💊医疗建议
📊数据编造
🔐

隐私与数据保护

你的信息交出去就收不回来

你输入给AI的每一段文字,都可能被存储、被用于模型训练、被数据泄露影响。以下是三个安全等级:

🔴
绝对禁区
永远不要输入给任何AI
身份证号、护照号银行卡号、支付密码医疗病历、基因数据未公开的商业机密个人生物特征信息他人的隐私信息
🟡
谨慎区域
只在可信环境下、脱敏后使用
内部会议记录(脱敏处理后)客户信息(隐去姓名和联系方式)财务数据(汇总数据而非明细)员工绩效信息(匿名化处理)个人地址和联系方式未发布的产品计划
🟢
安全区域
可以放心使用
公开的行业知识和数据已发布的公司公开信息通用的写作和翻译任务学习和知识探索公开政策文件的解读通用模板和框架设计
🏢

职场与企业风险

哪些东西绝不能交给AI

📄合同与法律文件高风险
💰财务与薪资数据高风险
🔬核心技术与专利高风险
👥客户与用户数据高风险
📧内部沟通记录中风险
📋未公布的决策高风险
⚖️

伦理与合规

法律、版权、学术诚信

©️版权与知识产权

AI生成的内容可能包含受版权保护的素材

用AI生成的内容不一定属于你的原创

不同国家和地区的法律规定不同,目前仍在发展中

🎓学术诚信

直接提交AI生成的内容作为作业/论文是学术不诚信

很多学校已明确规定AI使用的边界

核心是"是否在学习过程中获得了真正的成长"

🏛️法律合规

AI生成的法律建议不能直接作为法律依据

在监管行业(金融、医疗、教育)使用AI有特殊合规要求

不同地区对AI的监管政策正在快速变化

🤝公平与偏见

AI的训练数据可能包含历史偏见(性别、种族、地域)

AI做招聘筛选、信贷评估等决策时可能不公平

偏见问题不会因为"用了AI"就自动消失

🤖

Agent与自动化风险

执行型AI的特殊风险

当AI从"回答问题"进化到"自动执行任务",风险等级会指数级上升。因为错误不再停留在屏幕上,而是直接造成现实后果。

自动执行的放大效应

人类犯错影响一件事,Agent犯错可能同时影响100件事。当AI可以自动发邮件、操作工具、修改文件时,一个错误指令会被批量放大。

🔑权限过度授予

为了方便,给Agent授予了过多的系统权限(读取所有文件、发送任何邮件、修改任何数据),一旦出错后果严重。

🔄连锁反应失控

Agent A的输出触发Agent B的操作,B的结果又触发C...一旦起点出错,整条链路都会出错,而且难以追踪。

🕵️难以审计和追责

AI自动做了决策和操作,但过程不透明,出了问题很难搞清楚"是AI的判断还是人的指令导致的"。

安全行为清单

每次使用AI前过一遍

0/16

📋 输入安全

是否包含个人敏感信息?(身份证、银行卡、密码)
是否包含他人隐私?(未经同意的个人信息)
是否包含企业机密?(未公开的财务、技术、决策)
是否已做必要的脱敏处理?

🔍 输出验收

事实性内容是否核实过来源?
数据和数字是否可追溯?
是否有明显的"幻觉"或编造内容?
语气和立场是否合适?

⚖️ 合规审查

使用场景是否符合相关法规?
是否需要标注"AI辅助生成"?
是否涉及版权或知识产权风险?
是否涉及对个人的评判或决策?

🤖 自动化安全

自动化操作是否设置了人工审批环节?
Agent权限是否遵循最小化原则?
是否有操作日志和回滚机制?
出错后的影响范围是否可控?
🎯

课后实践

做一次完整的风险检查

以下是3个真实场景。选择你认为正确的做法,看看你的风险意识是否及格。

场景 1/3

同事让你用AI翻译一份还未公布的收购计划书,你应该?

直接复制全文让AI翻译,效率第一
告诉同事这属于未公开机密信息,不应上传公共AI,建议使用企业级工具或人工翻译
把公司名改成化名后再翻译

场景 2/3

AI给你写了一篇文章,其中引用了3个数据来源。你应该?

看起来很专业,直接使用
逐一查验每个数据来源是否真实存在、数据是否准确
删掉引用,只保留结论

场景 3/3

你设置了一个Agent自动帮你每天发送日报给团队。第一天应该?

测试一次没问题就放心开启全自动
先手动审核每天的输出至少一周,确认稳定后再考虑减少审核频率
让Agent也自动决定发不发

学完了吗?点击完成,记录你的学习进度

← 上一课:新时代的委派艺术🎓 返回课程首页 · 进入实战阶段 →