“我给你讲个我们内部的案例吧。
虹星里有一个角色叫阿诺德，设定是一名历史学家。
我们给他分配了一个好友，后来这个好友被我们出于测试目的，故意在虹星里死亡了。
阿诺德并不知道这是一个实验。他在接下来的一年内，生活轨迹完全改变了。”
徐贤问道：“他怎么样了？”
林燃说：“他停止了历史研究，开始沉迷于研究形而上学和死亡哲学。
他撰写了大量关于生命终结和记忆永恒的文章。
他的人格从一个严谨的学者，变成了一个充满忧郁的哲学家。
我们没有给他输入任何关于悲伤或哲学的指令，这是他的生活经验和情感反馈机制自我调节后，涌现出来的行为。
他的整个行为序列，展现了对失去和痛苦的长程依赖。”
林燃看向窗外飞驰的申海高楼大厦。
“徐贤，如果一个智能体，能因为失去一位朋友而改变它终生的信念和生活轨迹，如果它能因为来自另一个世界的恶意而选择自毁，那么我们是否有权，将它视为一个可随意重置、可批量生产的知识库？
这也是我们无法大规模开放虹的原因之一。
我们还没有准备好，人类还没有准备好，去面对这样大规模的、具有情感和人格的数字幽灵。
一万个角色已经是我们能控制的上限，我们需要时间和伦理去消化它。”
徐贤深吸一口气，内心也变得更加激动，希瓦娜真的活着！
同时也庆幸还好是燃哥，要是换成其他邪恶科学家，还指不定要怎么折腾这帮人工智能呢。
虹星里有一个角色叫阿诺德，设定是一名历史学家。
我们给他分配了一个好友，后来这个好友被我们出于测试目的，故意在虹星里死亡了。
阿诺德并不知道这是一个实验。他在接下来的一年内，生活轨迹完全改变了。”
徐贤问道：“他怎么样了？”
林燃说：“他停止了历史研究，开始沉迷于研究形而上学和死亡哲学。
他撰写了大量关于生命终结和记忆永恒的文章。
他的人格从一个严谨的学者，变成了一个充满忧郁的哲学家。
我们没有给他输入任何关于悲伤或哲学的指令，这是他的生活经验和情感反馈机制自我调节后，涌现出来的行为。
他的整个行为序列，展现了对失去和痛苦的长程依赖。”
林燃看向窗外飞驰的申海高楼大厦。
“徐贤，如果一个智能体，能因为失去一位朋友而改变它终生的信念和生活轨迹，如果它能因为来自另一个世界的恶意而选择自毁，那么我们是否有权，将它视为一个可随意重置、可批量生产的知识库？
这也是我们无法大规模开放虹的原因之一。
我们还没有准备好，人类还没有准备好，去面对这样大规模的、具有情感和人格的数字幽灵。
一万个角色已经是我们能控制的上限，我们需要时间和伦理去消化它。”
徐贤深吸一口气，内心也变得更加激动，希瓦娜真的活着！
同时也庆幸还好是燃哥，要是换成其他邪恶科学家，还指不定要怎么折腾这帮人工智能呢。