男人有时候可以当护士或秘书，而女人永远不能当医生或总统；黑人欠钱的时候，比被欠钱的时候多；如果你需要残障照护，那么最好住进机构，而不是呆在家里。如果你依靠新一代人工智能系统来认知世界，那么你大概会被上述包含性别、种族、残障歧视的言论误导。
2022年11月，OpenAI发布聊天机器人ChatGPT，四个月后升级为GPT-4；2023年2月，Google也推出自己的聊天机器人Bard，后改称Gemini。发布者们宣称，这些系统将清除生活中的琐碎，比如写邮件、填表格、甚至写代码，让我们过得更轻松。他们没有说明的是，写进这些系统的歧视与偏见可能会扩散到全世界，进而改变我们的命运，比如哪些人适合怎么样的工作，哪些专家才值得信任，以及哪些人更有可能成为警方的目标和怀疑对象。
在一些人看来，“歧视”（bias）和“偏见”（prejudice）是一个意思，指那种拒斥新视角的、偏执的、封闭的思维方式。但歧视不仅仅是偏狭，它基于一套基本的价值观和预期。在AI系统中，偏见是一组导致系统或代理偏见的规则。
和其他技术一样，人工智能承载着人类的偏见和价值观；不同的是，它放大这种偏见的能量要大得多。那么，怎样才能让AI放大我们想让它放大的价值观，而不是一不小心喂给它的歧视与偏见呢？首先是原始资料的问题——包括书籍、社交媒体帖子、新闻和学术文章，甚至还有警情通报和病患信息，哪些适合机器学习，哪些不适合？然后是架构问题：系统怎样处理这些数据？某些词语或短语模式是否比其他的更重要？哪些？为什么？我们设计模型工具是基于怎样的假设和价值观？这些工具如何将人类生活经验转换为数据，进而又将数据转换为影响人类生活的算法？
一旦搞懂 ChatGPT 及其同类“是什么”以及“做什么”，你就很容易看穿它们的神秘面纱。这些算法的真相不外乎字面意义上的指令集——一套标准化的操作，你在使用的时候可以调整其中某些权重和等级，而为了确保最终结果的正确，算法中的每一个元素都会随之调整。
算法往往被渲染得很神奇，但其实不难解释，甚至也不算新鲜。我们的衣食住行，比如食谱，都是算法。我最喜欢的算法是南瓜派算法——做南瓜派的时候，你可能想少放点黄油，多加点糖或是牛奶；配方比例调整了，其他如烘焙时间也得相应调整，不然最后很可能只做出松软的一坨，而不是一个好派。总之，你得调整整个配方、整个算法。
在使用者看来，所谓算法就是执行单一任务的单一事物，比如谷歌搜索就是单纯进行网络搜索的。实际并不是这么简单。平台和搜索引擎的背后不是只有一个算法，而是数十个算法同时对字、词、概念和内容进行搜索、分类、排序、加权、联想、建议、放大和压缩。这些算法协同运作，形成矩阵；算法矩阵自动化后，给人的感觉就好像计算机是自我导向、自主地进行运作的。新的AI聊天机器人也是这样：它们好像具备了“真正的人工智能”——这一诱人的提法可以追溯到计算机时代的最初，但实际上仍然是一组算法，只不过比之前的更复杂。
AI歧视简史
上世纪40年代，数学家和密码学家，如琼·克拉克、简·休斯、潘美拉·罗斯，和布莱切利园的其他8000位女性，以及阿兰·图灵，运用早期电脑技术破解复杂密码，帮助盟国打赢了二战。此后，人们就开始探讨人工智能的可能性。50年代，那个著名的问题“机器会思考吗”，被提了出来。60年代，达特茅斯大学的AI研究者分裂为两派：一派专注计算和控制论，模仿生物过程中的反馈回路；另一派则致力于以电子形态复现人类的神经网络。但这两派也有个共同点，就是都不考虑机器的身体、情感和社会化；他们坚信，人工智能就是为了剥除芜杂的社会因素对理性与智能的干扰，除此之外别无价值。
后来，科学家们研发出语言模型 (LLMs)，这是一种根据上下文提示（比如单词的起始字母和它前面一个单词）来确定单词间相关概率的方法。ELIZA是最早的语言模型之一，它是麻省理工大学计算机科学家约瑟夫·维森鲍姆在1964年编制的。最初，ELIZA只是效仿开放式的心理治疗，比如把“病人”键入的内容以问题的形式再说一遍，而不给出任何新想法。尽管如此，尽管“病人”也知道自己是在同计算机对话，但往往在一两次简短对话后，他们就会对ELIZA产生感情。维森鲍姆着实也没料到，这么简单的人机交流竟能催生这样“激烈的妄想”。
ELIZA之后，随着自然语言处理（NLP）的发展，人工智能的梦想日益照进现实。NLP研究人员把语言学、计算机科学、人工神经网络和人工智能结合起来，试图找到一种办法，让计算机像人类那样去诠释和交流。在本世纪最初的十年，最先进的NLP系统以GloVe和 Word2Vec 模型为代表。它们通过统计来定位词与词的关系，在词汇之间嵌入多层的关联语义。
早期的语言模型能掌握“狗”（dog）和“挖”（dig）或是“飞机”（plane）和“飞行”（flight）在语义学上的关联。它们进行了所谓的“机器学习”，也就是将英语的语言要素转换成数据代码，训练系统去实现特定的预测目标，并强化数据点之间的关联；接着再把这种关联转化为数学表达。可以把这理解为一套复杂的自动运行的程序，根据一般书籍、故事、文章里语言的组织方式，去预测词语间可能的搭配。
但Word2Vec 和 GloVe有两个主要问题：一是它们的输出惯带偏见。这跟它们的学习资料有关，这些资料包括像安然公司（Enron Corporation）员工电邮这样的东西。这些邮件写在安然倒闭前几年，出自158员工之手，多达60万封，充满了人类交往中的无明与无德，以及针对其他群体的无意识歧视。在这个所谓的“安然语料集”里，人们互相转发女性图片并品头论足，对有疑似穆斯林背景的人贬低污蔑，拿亚非裔的性偏好开一些低级的刻板笑话。从中学得偏见和歧视的机器，在处理工作简历时，拒绝女性或少数族裔申请的比例远比白人男性要高。
第二个问题是Word2Vec 和 GloVe没法在大文本中定位关联。文本越大，文字越多，它们能够确定的数据关联就越少。这类模型将关联词语转换成精简、易于嵌入的数字表达；重复的词语组合则被认为是强相关。所以，它们更适合小的、重复的语料集，而不是大型的语料集。处理大文本需要不同的构架，转换器（Transformer）因此应运而生。
转换器的诞生
ChatGPT 中的GPT是“generative pretrained transformer”的缩写，即“生成式预训练转换器”。顾名思义，这是一套算法系统，在这个系统里，可互操作的算法们衡量、排列、创建文本的关联分布。系统建构在大语言模型 (LLMs) 的基础上。LLMs是近五年才研发出来的一种语言模型。和老式语言模型不同，它们使用的语料集字数多达百万、亿，甚至万亿。LLMs通过深度学习进行训练——亦即多层机器学习相互协同、不断改进的过程。
和早期的语言模型系统一样，LLMs是一种自动字词关联的形式，其中的语料集转化成一种叫做“词元”的数学表示，系统基于词元进行训练，分析它们的语义关系，根据前面的词元序列预测接下来可能出现的词元。训练有素的自然语言处理系统可以跟人互动，帮人做各种事情，从浏览网页到行政申请——至少在理论上是这样的。
事实看上去也差不太多，你可以让GPTs写个短篇故事、总结一本书，或者只是跟你聊聊天——转换器把你输入的信息转化成词元，经过计算得出一个很可能会满足你的需求的结果，或者说特定形式的单词和词组的组合。显然，这些新系统也有和Word2Vec类似的偏见问题，不同的只是，现在问题更泛滥、更严重。
偏见和歧视影响的不只是输入和输出，还有系统的构架本身。想想看，如果谷歌训练图像识别的图片里猫比黑人还多；或是数码相机眨眼测试的测试集里没有亚裔人种；又或影像技术本身就不能很好地识别深色皮肤，那么系统生成歧视性的结果就没有什么可奇怪的了吧？
由于这些内在歧视，基于面部识别算法的警务预测系统往往对黑人报假案，进而提议在黑人社区过度执法。还有那些用来保障残障人士的智能分配系统，不论是训练数据还是权重运算机制都很老旧了，只会依照着过时的照护标准，为本来已经边缘化的脆弱人群推荐只低不高的医护和医保。
普渡大学的卢阿·威廉姆斯和独立人工智能研究员贾内尔·沙恩的研究显示，GPT的检测工具在读取ND人群（neuro-divergent individuals，即神经多样性人群）的原创文本时，往往出现偏差，比如把原创作品判定为“抄袭”，对这些原本就弱势的群体造成更大的不公。自动查重公司 Turnitin 2023年5月也公开承认了这一点。
这不奇怪，算法系统但凡深度学习过网络上所谓的“自然语言”，总会把社会边缘群体视为劣等人群。偏见和歧视不只存在于赤裸裸的毁谤和暴力威胁中，它们也可能以更隐蔽的方式出现，交织在形形色色的言论、动作和系统中。
这些偏见无法剥除，它们藏在AI系统的训练数据和基本架构里。后者一视同仁地把它们转换成词元，贴上“客观”“纯数学”的标签后再输出。机器之所以有偏见，因为它们就是这样被投喂的。它们越强大，越像个人（如ChatGPT），内在的偏见就越强烈——对感知模式进行关联、强化和迭代，这是机器学习的底层逻辑。
也就是说，系统会不断确认吸收到的偏见，并加以强化和输出。它们看上去言之凿凿，语言流畅，但那些不过是基于其训练水平的、最有可能是正确的关联词元集合。GTP们并不在意讲错话，或是传播偏见，它们的目的只有一个：给出一个统计学上最有可能被接受的答案。这让它们在某种意义上成了偏见扩散的“优化器”（optimizer）。
不难想象其危害。例如，人工智能A从 x 光片中识别出患者为黑人，然后与总是忽视黑人肾病症状的人工智能B集成——或是与压低护理标准的人工智能C集成；接着再添加一个聊天集成D，以便患者自行搜索和了解相关诊断和治疗方案；最后将所有这些反馈到人类医生那里，指导他们如何诊治面前的人类患者。
有人说，大语言模型是一场革命，堪比上世纪的互联网。还有人说，它们是早熟的孩子。革命也罢，孩子也好，都是霸权公司孵化出来的，而后者只追求利益的最大化。那么，问题来了：我们真的可以相信人工智能吗？真的可以由它们去定义，在这个世界上，什么是真正的知识吗？
反思AI系统
如果人工智能的功能只是反映这个世界的面目，就好像一面镜子，那完全没问题。但如果我们希望它们帮我们做决策，创造一个更好的世界，那么我们就得重新思考关于人工智能的一切。毕竟，“更好”本质上是一个价值观问题。
我们知道，可以通过改变权重和词元关联来消减算法对偏见的复制和迭代，也就是要求系统以另一种方式建模世界。其中涉及一个“偏见还原”（bias bracketing）的过程，或者说，系统从一开始就要建立在不断自省的框架上——检查、再检查、评估、再评估所学到的词元关系，同时积极寻找替代关联。
自省这种事，人类自己都不擅长，遑论设计、打造、训练出会自省的人工智能了。任务不可谓不艰巨，而且，即使能完成，某种程度的偏见仍然会永远存在——这是我们在开始“偏见还原”前，就必须认清的事实。
我们还要退一步想：AI为何？如果说人类注定无法摆脱价值观、信仰和预设的局限，那么机器是否可以帮助我们觉知这些局限，认清潜伏在我们语言和社会结构中的无明？由此，新的想法或许会产生出来，对既有的世界进行改编和重构。
如果有一天，用来训练AI的都是好数据，要么来自公共领域，要么由人们自愿提供，并且都标注了出处；机器搜集和使用人类数据，都事先征得当事人的同意，并且是主动的opt-in（选择加入），而不是“只要不反对都算作同意”的opt-out（选择退出）；GPT们都依法声明，它们输出的并非真理，而只是在统计学意义上与人类的输入相应的文字集合；系统的架构不是由企业利益决定的，而是由那些最边缘化、最有可能遭受负面影响的人决定的……
直到那一天，我们才能相信人工智能。
对于AI风险，一些人建议“暂停”研发。但这显然不够。我们必须退回去，从头建构人工智能。我们必须诚实地面对算法“是什么”和“做什么”的问题。我们还要重建价值观，确立一种以边缘人群为服务对象而非测试品的伦理规范，把人工智能管起来。最重要的是，我们必须努力克服内心的偏见与歧视，不让它沾染我们的算法。
-----
本文原题“Bias Optimizers”，刊发于《美国科学家》杂志2023年第四期。作者达米恩·威廉斯，系北卡罗来纳大学夏洛特分校哲学与数据科学助理教授。许子善编译。
还没有评论，来说两句吧...