【摘要】 人工智能技术的不断发展与普及使之已经或必将全面应用到人类社会的各个层面，但囿于信息的非公开、技术的不确定、法律法规尚不健全以及监管措施的缺位，在实际应用和推广中，普遍存在着诸如“算法黑箱、算法歧视、算法绑架”等现实问题，应当通过立法规范、行政监管和行业自治等诸多手段或举措进行有效监管。尤其是人工智能的内部推算系统技术，从而在新技术时代保障公民的平等权，避免技术性歧视行为。
【中文关键词】 平等权；人工智能；算法黑箱；算法歧视；算法绑架
一、问题的提出
人工智能技术浪潮席卷全球，它让人们的生活和生产方式得到提升，部分发达国家和地区已制定相应的发展规划，如2016年《美国国家人工智能研究和发展战略计划》，欧盟推出《欧盟机器人研发计划》，英国也发布《机器人技术和人工智能》和《人工智能：未来决策制定的机遇与影响》报告，[1] 2017年7月，我国也发布《新一代人工智能发展规划》，提出面向2030年中国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施。[2]从宏观层面看，人工智能能为城市规划治理、公共安全风险评估、智能犯罪预防、定向扶贫、自然灾害预测及应急等提供决策支持，未来我国将实现智能制造、智能农业、智能金融、智能商务、智能家居等全方面智能化社会。[3]从微观层面看，它已成为个人日常生活的一部分，在自动驾驶、疾病诊断、人脸识别、智能翻译、投资决策、法律服务等方面都发挥了巨大的作用。对此，人们普遍认为人工智能的应用能够帮助人类更安全和条理化地开展工作，[4]帮助人类对各事项决策进行理性准确的决断，促进社会治理体系和手段更为高效、便捷与智能。人工智能技术因能提供“无所不能”的便利，亦可视为是一个完美无瑕的“作品”。但就人类的自身发展而言，有时科学技术会是一把“双刃剑”。比如“核裂变”技术的应用，有时可从一个极端走到另一个极端。当然，大众舆论目前对于人工智能技术的应用前景，无不充满喜悦与亢奋。但人类应在新技术产生之初，就应保持足够的理性和客观，这会有利于科学系统地分析和判断。任何新技术在被广泛应用和采纳之前，都会存在一个过渡期，在这个过渡期内，要持续不断地自我检测和自我完善，以便更好地接近或吻合人类社会的基本规则，更好地服务于人类社会的可持续性发展。但是，现阶段人类把大量的所谓抉择权（包含司法权和行政权）交付给人工智能技术平台，企图利用大数据来遴选或甄别，用以判断或决策公共政策、法律法规和规章制度的可行性和适用性。这极有可能带来具有倾向性、片面性和非透明性的结果，并有可能被所谓的“科学、系统、全面和客观”的数据或图形加以粉饰或掩盖。其实该流程包含着不合理、不合规的运算体系，如“算法绑架”、“算法黑箱”和“算法歧视”等现象，最终以貌似科学、合理、合法的方式，在广大公众不易察觉的状况下，实施或执行具有针对性的和片面性的抉择或推定。
二、信息非公开所形成的“算法绑架”行为
现阶段人工智能领域中出现的诸多平等权僭越问题，首当其冲的是在人工智能运算过程之中出现的、被应用的大量数据信息的非公开性所导致“算法黑箱”和“算法绑架”的行为。其实，关于政务信息或者公共信息公开，我国《政府信息公开条例》第一款规定：为了保障公民、法人和其他组织依法获取政府信息，提高政府工作的透明度，促进依法行政，充分发挥政府信息对人民群众生产、生活和经济社会活动的服务作用。该法令的宗旨就是对公众知情权的保护，提高公众参与国家、社会事务管理的积极性，有效减少贪污腐败等现象。该法令的构建是法治信息社会的必然选择。[5]此外，公众“知情权”的出现背景是美国联邦政府机构内部消极对待政务信息公开化，任意扩大保密权限的官僚主义。保障公民知情权源于社会契约论或人民主权论，获得应该获得的信息是公民的一项权利，而信息公开就是政府的一种义务。[6]如果人民没有知情权，就无法参与和管理国家社会事务，无法监督权力的运行，也就意味着无法保障自身应有的权利，社会的民主和谐稳定便可能遭到极大地破坏。在数据膨胀的信息化时代，“大数据分析”和“机器算法决策”等人工智能技术的应用与社会公共利益紧密相关的信息也完全应该公开。然而，目前当人工智能应用的数据涉及到公共政策和公共利益时，其所应用的数据资料却处于非透明化状态，或是基本处于完全不公开的状态，公众对此完全没有任何的知情权。
（一）人工智能数据应用的非透明性的类型和范围
在人工智能应用领域中的信息非透明性问题，大致包括两方面：首先是算法系统运行决策过程的非透明化。美国加州大学信息学院的乔娜·布雷尔(Jenna Burrell)在其论文《机器如何“思考”：理解机器学习算法中的非透明性》中细分三种形式的内容：“第一种是因国家秘密或商业秘密而产生的非透明性，第二种是因技术掌握程度不同而产生的非透明性，第三种是算法本身的复杂所带来的非透明性”。[7]所以，不仅是社会公众，就连设计者本人也不能完全掌控算法系统在进行运算决策时每一个逻辑数据的来源。出现此问题之根源就是，我们会在解释或证明算法结论的因果关系中，始终存在着较大的技术层面障碍。大众只能看到输入的数据以及得出的相应结论，而对中间的运算过程则一概不知，由此就会导致“算法黑箱”或“算法独裁”行为。[8]其次则是数据使用情况的不透明性。当前我国法律仍未对企业采集和利用数据信息的权限边界做出明确的规定，不能完全保障广大用户对自身数据资料在被使用或应用过程中应享有的知情权和同意权。广大用户根本不知道自己的哪些信息被使用以及如何被使用！此外，互联网企业与普通用户之间在个人信息数据权利上的不对等现象，导致数据容易被滥用。由于这些信息的不公开，公众没有获得应有的知情权，带来的问题便是数据分析的算法能够轻易“绑架”人类的思维，“操纵”人类的意志。
（二）人工智能应用数据信息非透明化的实证分析
“电车难题”一直以来是法学界中道德判断的难题，它是指有五个无辜的人被绑在电车轨道上，一辆失控电车朝他们驶来，片刻后就要碾压到他们。这个时候您可以选择拉一个拉杆，让电车开到另一条轨道上，但是另一个电车轨道上也绑了其他一个人。在这种情况下到底如何处理？边沁的功利主义观点认为，当必须作出选择时，牺牲了一个人拯救多数人的性命是符合社会功利原则的，即满足社会绝大多数人的幸福。而从康德的目的原则出发得出的结论则相反。康德认为人是目的不是工具，五个人的生命和一个人的性命没有轻重之分，不能以牺牲一个人的性命来拯救多个人的生命。假设，现实生活中的人面临如此选择，且其中五人中也可能包涵自己，或者是与自己相关的亲人或熟人，或者是鉴于其中性别、年龄、外貌等的差异，考虑到人性的复杂一面，最后，都可能会做出不同的选择，从而产生不同的结果。这样的伦理困境在人类决策中是永远没有标准答案的。不过在正常状况下，我们还是能够预测他人在作选择时的价值判断，通过这些缘由来对每个决策进行我们自己内心的道德和法律评价。如果同样的状况出现在人工智能决策的背景下，例如将自动驾驶替代人工驾驶，通过算法来决定最后哪些人会被牺牲时，由于人类不知道算法运行的内部规则，也不确定是基于哪些信息所做出的决策。所以，大部分人会完全信任机器算法，觉得机器算法具备能做出最佳效益和最合情理的判断力。因为，这是通过自然科学模式推算出来的，所以人们不会有质疑。因此，当伦理困境不再处于矛盾状态时，这个决策就因为机器算法而具有唯一性，其结果一旦被法律所采纳，对于被牺牲的一方来说会在法律的框架下被“合法”地歧视。因此，一旦人类把社会事务的最终决定权完全交付给人工智能机器算法，就意味着人类特别是我们普通大众从某种程度上可被理解为全部受制于算法决策。这并非只是推论，类似的事项已真实地发生。2018年3月17日，Facebook公司具有两家关联机构性质的Strategic Communication Laboratories（SCL）和剑桥分析公司（Cambridge Analytica）窃取了Facebook公司大约27万用户的个人信息，之后构建了一个可解析美国选民的数据模型，用以提供针对性服务，比如推送千人千面的个性化政治广告。特朗普的数据运营团队将其运用到2016年的大选之中，该项成果被视为特朗普成功当选的一大助力。[9]英国卫报指出，算法和数据库结合在一起可形成强大的竞选工具，这个工具能够在大选中尽可能找出中间选民，并制造更多的“共鸣信息”成功地煽动和说服他们。[10]权力资源的掌控者利用数据和算法分析人类的主观偏好，再推送附带此偏好的信息去影响他们对事务的判断与决策。然而，广大选民根本无法察觉，他们在进行判断衡量之时已被人工智能技术所左右，最终之决策并非基于自身真实意愿，而是思想被操纵后之产物。人工智能时代人类的生活逐步趋向数字化，控住数据就可自由摆布或左右大众之思想。现在，人类必须意识到在享用人工智能算法决策的好处之时，也须警惕自身对其模式和结果的过度依赖，以防止算法决策“绑架”人类的意志思维。如今，社会资源的掌控者将人工智能技术作为管理社会的工具，如对其未来的发展不加以规范，人工智能技术难免会沦为资本逐利、政治逐权之手段，导致歧视和不平等行为在社会中被无形地被放大，社会贫富急剧分化甚至出现极权暴政。
如何界定歧视现象？国际条约对“歧视”做出的定义是：联合国人权事务委员会《关于非歧视的第十八号一般性意见》“不得歧视”第七项指出：本公约中所使用“歧视”一词的含义指基于任何种族、肤色、性别、语言、宗教、政治或其他见解、国籍或社会出身、财产、出身或其他身份的任何区别、排斥、限制或优惠，其目的或效果为否认或妨碍任何人在平等的基础上认识、享有或行使一切权利或自由。[11]欧盟对于歧视的定义是：“如果某个人或团体因为具有性别、种族和民族、遗传特征、宗教、残疾、年龄、性取向等七种特征之一，而受到相对不利的对待，或者一项貌似中立的条款很可能对该人或该团体产生不利影响，则视为歧视。”[12]国际人权法认为凡是某些原因具有取消或损害机会均等或平等享有权利的区别、排斥或优惠措施,都构成法律上的歧视。[13]在现实生活中，人们在自然生理或社会经济方面存在明显的差异，以上差异不仅难以通过个人的努力加以克服，并且从根本上决定着社会竞争的成败。如果法律无视这些差异，进而将所有人视为抽象的和无差别的人格主体，并赋予相同的权利义务，最终将加剧社会阶层与民族群体之间的不公平。[14]
（一）传统意义上的歧视行为的界定与解析
可以看出，歧视的核心应该具有三个特点：第一是客观上具有存在非合理的区别待遇；第二是这种区别待遇是法律所禁止的；第三是会造成客观上的不公正、不平等的不良后果。[15]
国外学者对“歧视”的理解包括：“第一、歧视是基于偏见所产生的行为，由于个人的偏见而对某团体实施的差别对待。[16]第二、判断是合理的区分还是歧视的标准即”一种区别对待不同的人或群体的做法是可以被允许的还是带有歧视性这一问题，取决于受到区别对待的各方是否处于相似的情况，不平等的对待是否基于合理的和客观的标准，以及这种区别对待是否与特定的情况相称。[17]我国学者对“歧视"”看法主要有：第一、歧视是指被法律禁止的、针对特定群体或个人实施的、其效果或目的在于对承认、享有和行使基本权利进行区别、排斥、限制或优待的任何不合理的措施,
即歧视的表现形式是在相同的情况下无合理理由而恣意取消或损害特定群体或个人平等享有权利的任何区分、排除或选择的措施。[18]第二、采用国际人权公约关于歧视的定义，认为“歧视”包含着三个构成要件：首先，存在着区别待遇；其次，此种区别具有不良的效果；最后，该区别的理由是被禁止的。[19]第三、任何形式的歧视都是基于区分，而区分的基础则是个人的特征，诸如种族、肤色、性别、语言、宗教、政治或其他意见、国籍或社会出身、财产、出生或其他身份。个人的这些不同的特征构成了歧视的前提，但并不是所有形式的区分都是歧视性的，人权法所反对的区分是建立在不合理的和主观的标准之上的区分。[20]
可看出，以往对“歧视”概念的认定，主流观点是人权事务委员会在《关于非歧视的第18号一般性意见》中的“歧视”定义。主要的国际公约和大部分国内外学者都承认类似的观点。强调其核心是客观上具有存在不合理的区别待遇，而区别待遇的类型和理由是法律所禁止的，以及客观上由于区别待遇，所造成非公平公正等的不良后果。这类流派承认歧视源自主观的偏见或偏好，但不以主观要素为必要条件，更看重客观所造成的不良社会效果。
（二）现代意义上的歧视行为的界定与解读
歧视不仅为法律所禁止，在伦理道德上更是不允许，禁止歧视行为是人类社会历经几千年形成的共识，代表着人类文明的进步。人们认为随着科技的不断发展进步，尤其是数据分析、机器算法决策等人工智能技术的应用，社会应会变得越来越公平，越来越完美。然而，实际情况却非如此，机器算法得出的决策并非客观公正，可能会出现更为隐蔽和严重的歧视行为。英国《卫报》就曾发表评论指出，人工智能可能已出现种族和性别偏见，但这种偏见并非来自机器本身，而是计算机在学习人类语言时吸收消化了人类文化中约定俗成的理念，从而导致出现种族和性别偏见。这些发现让人担忧，现有的社会不平等和偏见正在以不可预知的方式得到强化。[21]例如，2015年7月的《纽约时报》登载，卡内基梅隆大学研究人员利用ADFisher（一种广告钓鱼软件）模拟普通用户去浏览求职网站。随后，在诸如《卫报》、“路透社”等新闻网站上，统计由谷歌推送的“年薪20万美元以上职位”的广告数据。结果显示，男性用户组收到1852次推送，女性用户组则仅收到318次。[22]2018年3月，我国一则“大数据杀熟”的新闻就引起了舆论对数据技术滥用和算法歧视有关的激烈讨论。所谓“大数据杀熟”就是指某些网络交易平台通过分析其常用客户的过往消费和浏览记录，通过机器算法来洞悉和分析各消费者的偏好，从而可以“看人下菜”，在同一时刻对同一产品针对不同消费能力群体进行差别定价，主要体现在同一件商品或服务，互联网厂商显示给老用户的价格要高于新用户。[23]广大消费者却在毫不知情的状况下，或者是在完全信任交易平台的情况中，被迫接受这种差异化付费模式。在传统的商品服务交易市场中，价格也许会随着卖家的主观心理而有所差别，但一般而言买卖双方可就价格协商，基于公平自愿原则达成交易。而随着人工智能技术的应用，如今网络交易平台操作十分便捷，不少消费者在衣食住行上都依赖其提供的服务。当平台给出消费项目价格之时，一般情况下，普通消费者基于依赖和信任的心理认为自己付出的对价与他人相同，进行的是对等交易，所以都会选择接受此价格，根本不会意料到背后还有如此隐蔽的宰客手段。显然，这种“个性化”的商品服务，损害了消费者的知情权，有违市场交易的诚信原则。中国青年报社社会调查中心联合问卷网，对2008名受访者进行一项调查显示，51.3%的受访者遇到过互联网企业利用大数据“杀熟”的情况，59.2%的受访者指出大数据面前信息严重不对称，消费者处于弱势地位。[24]著名的亚马逊网站也曾出现过类似事件，其网站购物推荐系统有意识地偏袒自己以及合作伙伴的物品，即使其它卖家商品价格更低。而且在购物比价服务中，亚马逊故意隐瞒自己以及其合作伙伴物品的运费，导致其消费者不能得出一个公平透明的比价结果。[25]这些事件充分说明在人工智能时代下普通消费者的处境不容乐观，一旦数据和技术被滥用，算法决策造成的价格歧视便会无处不在，让消费者们无从防范。
建立在数据分析上的算法决策本质上是用过去预测未来，而过去的歧视和偏见则会在智能算法中固化并在未来得以强化。[26]随着人工智能技术的发展与推广应用，机器算法带来的歧视问题已不仅限于传统的种族、性别等其它因素，其范围还涉及到人类的日常生活和社会事务中，同时，也开始逐步影响人类社会制度和经济发展的方方面面，并且其中的构成方式越来越隐蔽，它们通常被披上一层合法的外衣，公众难以察觉。当然，人工智能并没有创造歧视的本身，而只是改变了歧视存在或产生的方式，也打破对以往歧视的传统认知，赋予了“歧视”更广阔的外延，为社会歧视现象的出现提供了新的渠道。
虽然，机器算法歧视与传统的歧视相比，在产生和表现形式上更具有开放性和隐蔽性，但这两者在内涵上并无本质不同。不过由于人工智能技术发展的不可预知性和风险的不确定性，在应用过程中，要避免对待机器算法歧视等同于传统歧视的思维定式。随着人工智能技术应用的深入，针对当前已出现或未来有可能出现的歧视问题，我国现有法律制度还难以应对和解决，需要相关法律法规对此进行指导和监督。
四、“算法歧视”损害平等权的实质行为
我国学者对平等权的解释具有代表性的有：1、平等权是公民的一项基本人权，它意指公民同等的依法享有权利和履行义务的自由度。2、“权利平等作为权利享有、行使、实现过程的基本原则,蕴含着三层含义：首先是主体的普遍性。在大致相同或相等的条件下所有主体皆为权利主体；其次是对于内容实质的同一性权利，以及内容数量的同一性,一切权利主体享有相同或相等的权利；最后则是权利救济的非歧视性在权利实现遇有障碍时法律无差别的给予救济和保障”。[27]当今学界普遍认可的观点是将平等权视同为是权利的保障和实现形式。对平等权的解释包括四部分:权利平等、义务平等、法律适用平等、法律界限平等,它们统一构成了法律上的平等权。
（一）人工智能语境下的新型侵权模式
今天,“人工智能”技术正在逐步推广的应用，其所附带的“新型”歧视行为对传统的平等权构成威胁。2016年11月上海交通大学 Xiaolin Wu 和 Xi Zhang传到 arXiv 上的一篇题为《使用脸部图像自动推断罪犯》的论文，研究者试图通过人脸识别来研究犯罪推定，预测它的准确率百分比。这篇论文指出，基于“嘴唇的曲线”，“眼睛内角的距离”和“所谓的鼻子角度”这几个关键的面部特征，可以较高概率地预判某人是否具有犯罪属性，即利用机器来计算脸部特征与犯罪性是否具有一定的相关性。研究人员通过四种不同的自动化神经网络运行，其中最值得称赞的一种网络技术，能够识别出89.51％选定群体的犯罪分子。[28]此论文一出即引起了舆论的高度关注。当然，这些研究者们申明他们并不赞成，也认为尚无法将该研究成果完全应用于司法实践中。不过由此引发出人工智能决策可能造成的社会歧视和不平等的讨论的确值得各界人士的深入研究思考。
这种机器视觉算法在作决策时，不会如人类会因种族、宗教、政治立场等主观价值而产生任何的偏见，也不同于人类会因为身体和心理的健康状况从而影响自身的决策。在此情况下，大部分人通常会认为，纯粹由人工智能以面部识别形成的决策判断，一定会比人类作出的决策更加公平公正。它不掺杂任何偏见，不会使任何人蒙冤，也不会放过一个罪犯，能够有效打击犯罪，提高案件的侦破率。但是，事实真的如此完美无暇吗？如孤立地从事件本身来看，这的确可提高侦破案件的效率，节约司法资源。但如从公平正义的角度来看，却非如此。首先，这显然违背了法律推理的定罪方式，不讲客观事实和证据逻辑，甚至有违罪刑法定原则。其次，依托该人工智能技术，即使可从客观的面部特征上精准地识别出犯罪嫌疑人，但它所带来的益处是有限的，而相对于给整个社会大环境所而言，它所带来的风险是不可估量的。因为，当这种算法技术因其超高的辨别率被广泛应用于实践中，久而久之，公众也许就能依据结果，大致解读机器算法得出的所谓“犯罪脸”的特征，民众就无法避免形成基于此特征的歧视。然而从技术角度来说，目前机器算法大多具有可复制性困难问题，其推理本身存在逻辑缺陷，很多时候我们将算法推理结果之可能性视作确定性判断，将强相关性认为是因果性，忽视其中的不确定性。[29]在使用脸部图像自动推断罪犯的案例中，算法技术依据脸部特征类似人群的犯罪情况，用以推断个人是否属于犯罪分子，从本质上来说这些脸部特征信息和个体目前或者未来的行为有着多大的逻辑必然性呢？一旦人们普遍形成这种歧视，这就意味着具有该脸部特征的人群，不会被社会所平等对待，会出现新型侵权行为与现象，整个社会发展难以实现真正意义上的公平正义。而在美国，Northpointe 公司开发的犯罪风险评估算法COMPAS已造成不可回避的歧视问题，非营利组织 Pro Publica 研究发现，此算法用于再犯风险评估，该算法的运算过程和结果，直接导致系统性地歧视所有黑人。大部分白人更多被评估为具有低犯罪风险，而黑人被错误地评估为具有高犯罪风险的几率两倍于白人。[30]一旦类似的人工智能技术应用到司法体系中，其结果就是对少数族裔平等权的践踏，其本质与历史中的种族不平等又有何异？在长期不被认可接受的环境下，势必会使得他们的性格和价值观偏离正确的轨道，从而可能导致走向极端，导致整个社会公共安全治理的恶化。为了防止这类后果的发生，欧盟一般数据保护条例（GDPR）第22条明确规定数据所有者有权利不接受完全由自动化处理的、没有人类干涉的条件下做出的重大决定。
（二）人工智能语境下的司法审判模式之变
为了提高案件审判的公正性，当前我国司法系统很注重人工智能技术的应用。最高人民法院提出要“建设立足于时代发展前沿的‘智慧法院’”，最高人民检察院发布了《“十二五”科技强检规划纲要》。人工智能技术被当作审判的辅助性工具，只能在有限的范围内用于减轻检索负担、避免疏漏，[31]将大数据分析和机器算法决策的结果作为参考用来弥补人类法官审判的不足，可以辅助司法决策、提高办案效率、优化司法资源配置。但如果在司法实践中对案件的审判裁量排除了人类的参与，完全被人工智能技术取代，可能会违背我们的初衷。首先，算法决策的过程是机械的。尽管算法决策能遵循三段论的推理模式，在一定程度上能防止法官的个人主观倾向和对裁量权的任意使用，但是算法决策不像人类会进行伦理道德的衡量，注重保障人权，兼顾社会和政策利益等价值推理。霍姆斯法官就曾提出“法律的生命并不在于逻辑而在于经验”[32]的格言。其次，在具体案件事实中，对于同一个概念的理解有平义、缩小、扩大、类推等多种解释技巧，在对许多概念的理解上并没有一个固定统一的标准，如何理解取决于法官在法律范围内的价值抉择。可见，解决价值推理的问题，是实现人工智能法律系统为判决提供正当理由的前提。为此,P. Wahlgren提出的与人工智能相关的五种知识表达途径中,明确地包括了以道义为基础的法律推理模型。[33]不过,即使把道义逻辑强加给计算机,机器也很难产生价值观念和主观体验,没办法解决主观选择的问题,只有人类自身才能够平衡相互冲突的利益,发现对人类生存和发展至关重要的价值。[34]再者，算法的优劣程度在很大程度上取决于数据样本的客观完整程度，而来源多样化、规模不断膨胀的法律数据本来就不可能完美无缺，何况在中国快速发展的过程中还存在比较严重的质量问题，甚至也有基于政绩考虑的数据造假问题。[35]另外，算法的设计者和开发者可能附带着主观倾向或偏见来使用数据，存在“算法黑箱”以及逻辑缺陷的算法规则。
因此如果排除法官的自由心证的裁量，片面信任数据和算法的裁决，那么人工智能不仅无法提高判决的公正性、促进和完善我们的法律工作模式，反而会形成算法独裁，将司法实践中判决不公等弊端推向另一个极端，此时带来的问题已经不限于个案本身的效率和公平两种价值导向之间的博弈，而是整个法律制度的公平正义理念将因此分崩离析。
（三）人工智能语境下对平等权损害之影响
自带逻辑缺陷的机器算法及其运算过程的不透明性，再加上并不客观完整的数据样本，以及人类对人工智能技术的滥用和对算法决策结果的盲目自信，种种因素综合起来，必然会导致算法歧视被进一步放大。人类环境又加速吸收这种歧视，基于机器对周围环境的深度学习能力，致使产生的歧视经循环扩大被固化下来，形成一种暗含的社会歧视现象，最终很可能会造成一种“自我实现的歧视性反馈循环”。[36]并且，由于各地生产力发展状况和科技实力的差异，不同地区的人们与人工智能相融合的程度是不同的，由此产生了收入的不平等、地位的不平等以及未来预期的不平等等“数字鸿沟”。[37]人工智能面临着沦为经济、政治、技术等方面强者把控特权的工具。而相比于社会资源的掌控者和算法规则的制定者，那些处在被动地位的公众由于他们有限的信息承受和接收能力，无法正确处理算法“黑箱”，不能自主把控数据信息所形成的算法决策，法律面前人人平等的原则将被消解。[38]
如上所说，若对这种“智能算法”不加以控制，将会产生极大的副作用。以非客观不完整的数据样本，再加上人类对智能技术的滥用和对算法决策结果的盲目自信，以及人工智能技术自带逻辑缺陷的机器算法及和运算的不透明性，各种因素叠加，导致算法被一步步放大。随之而来的是机器对周围环境的深度学习能力，致使产生的消极结果经循环扩大被固化下来，形成一种暗含的社会歧视现象，最终很可能会造成一种“自我实现的歧视性反馈循环”。[39]并且，由于各地生产力发展状况和科技实力的差异，不同地区的人们与人工智能相融合的程度是不同的，由此产生了收入的不平等、地位的不平等以及未来预期的不平等，“数字鸿沟”已经是不争的事实。[40]
五、行业与部门监管的共治之路
（一）制定相应的法律法规，弥补立法空白
1.立法的必要性
自从进入21世纪以来，科技高速发展，为了把握这个历史机遇，占领科学技术创新的制高点，我国制定了一系列法律或者规范性文件，但涉及到人工智能的法律文件更多的是如何要让其更好地发展，更多的是一种规划。由于新型不平等或歧视问题的出现，法律规范与技术手段需要完成维护平等、克服偏见的责任。现在可预测的是，未来如果缺失科学严谨的立法，会形成越来越清晰的监管空白地带，甚至可能会加深公众的信任危机，导致关键创新技术发展受阻。事实上，
人工智能应用过程中可能出现的风险早已引起了海外立法和政府机构的关注。例如，为了应对人工智能科技越来越多地融入其他科技应用的大趋势，英国下议院的科学和技术委员会在2016年10月发布了一份关于人工智能和机器人技术的报告。该报告认为，人工智能系统和智能机器的发展与应用产生了一系列的法律与伦理道德问题，而且在人工编制的算法和机器自主学习的算法中也存在着歧视问题，所以该报告呼吁建立有效的机制辨别和控制这些法律、伦理与歧视问题。[41]同时，此报告也讨论了一些可行性方案，比如人类可使用一台人工智能的学习功能去评价另一台正在使用中的人工智能程序，追踪和记录其使用和输出的某些计算机算法。美国白宫人工智能报告将“理解并解决人工智能的道德、法律和社会影响”列入国家人工智能战略，并建议AI从业者和学生都能接受伦理培训。[42]美国国家科学基金会和美国航天局设立专项基金对“机器人伦理学”进行研究。[43]Matthew Joseph 等人在其论文《罗尔斯式的公平之于机器学习》（Rawlsian Fairness for Machine Learning）中基于俄罗斯的“公平的机会平等”（Fair Equality of Opportunity）理论，引入了“歧视指数”（Discrimination Index）的概念，提出了如何设计“公平的”算法的方法。[44]一些行业组织、公司企业也在伦理规范方面强化人工智能专家的专业责任，如日本人工智能学会内部设置了伦理委员会，谷歌设立了“人工智能研究伦理委员会”，旨在强调科研人员的社会责任，并对合理研发人工智能提供指导，[45]并在机器学习中提出“机会平等”（Equality of Opportunity）这一概念，以避免基于一套敏感属性的歧视。[46]
我国可以在参考这些方案的基础上制定与我国国情和人工智能发展水平相适应的法律。关于立法，笔者认为应该从体系和内容两个角度来考虑。在立法的体系上，既需要有一部类似于民刑在体系和结构上相对完整的《人工智能法》，也需要有行政法统领各领域的部门法律法规对其加以配合与补充。在立法内容上，国家需要制定一套可操作的法律制度来明确人工智能应用的伦理准则，这个准则须涵盖人工智能的设计、应用以及审查监管、归责各个方面。以下是几点建议：第一，在立法指导思想上面，除了要体现促进人工智能的发展外，平等性原则与伦理性因素也应该考虑进去。第二，在人工智能的设计上，立法上至少应作出一个宏观性条款作为指导，指出设计者享有的权利和应尽的义务，明确其不能违背的底线。第三，在归责方面，要强调人工智能已经不是简单的机械工具，当人工智能出现了超越原设计方案的“越轨行为”时，到底由其制造者、管理者还是使用者，甚至是人工智能自身来承担责任。[47]这点立法不应回避。第四，可以考虑成立一个关于专门的人工智能领域方面的小组或部门，由其负责监管职责或者当出现立法空白时，由其进行兜底性解释。当然了，若现行立法确有困难，则可考虑先以司法解释的形式来弥补人工智能领域相关规定的空白。同时要注意国际上的最新走向，如有必要，签署人工智能伦理规范的国际条约，加强国际间的沟通与合作，尽可能做到在法律上给人工智能的应用所带来的社会影响设立伦理底线，确保人工智能应用不仅仅是受资本逐利的推动来拓展，还要受到法律和政策的制约。
（二）建立政府监管制度
除了建立一个上位的法律，再建立一个类似于银保证或电监会之类的监督委员会机构也是有必要的。这个机构由政府部门、行业协会、非政府组织、学术团体以及公共利益团体代表共同组建。之后，可由该部门依据上位法颁布一套专门适用于设计者、使用者与人工智能本身之间的规则，这套规则一来可补充上位法上的漏洞，二来可具体规定人工智能的设计、使用、责任之事项。有了具体的规则，算法绑架、算法歧视等有望大幅缩减。
具体来说，可以重点从以下几个方面进行监管：第一，对人工智能的信息公开层面进行监管。截止到今天，全世界尚未存在一种追踪系统来对算法的决策进行人性化追踪，也没有实现全过程透明化，让人类知悉人工智能技术是如何进行思考的。算法到底是如何进行运算的，要专门制定行政审查制度，以满足人们一旦对决策不满意，就可以对算法决策程序的合法性提出质疑的权利，以及对算法行政审查提出质疑的权利。这些问题，现在听起来好像会觉得有点天方夜谭，但是随着科学技术的不断发展进步，未来应该会逐步变成现实。此外，相对于算法决策过程的不可控性，数据的使用过程是完全可控的。鉴于之前国内外已发生多起滥用用户数据的事件，可考虑由此监管机构来负责监督数据收集者对数据的使用情况，数据收集者使用用户数据时，除了得到用户的许可之外，还应当去该部门登记备案，这将会充分地保障用户的权利不受侵害，或者用户认为自己的相关权利受到侵害时，可向该机构提起对数据收集者的行政审查。第二，人工智能的设计需要与社会规范相结合。今天对人工智能进行理性的价值评估，对人工智能的研发和应用进行道德规范，进而使价值、伦理、道德成为制约人工智能发展的内在维度已经不是一件可有可无的工作，而是我们肩负的权利、责任和义务之所在。[48]当设计者进行设计时，不仅要在规则的范围之内进行设计，还需要将人类社会中相应的道德伦理规范或其它价值嵌入系统之中，设计完之后由该部门进行试验、检测、最后进行登记与审批，方可投入使用。既要确保人工智能遵循既定的计算机程序运行，也要防止人工智能在预定之外实施不符合预期的行为或出现功能预期值外之变，即“有所为有所不为”。另一方面，我们也要鼓励人工智能技术能够不断学习，不断完善，向更好的一面进化。我们都知道，阿尔法狗令人震惊的地方，不仅是它利用计算机超快的速度来穷尽各种可能，更是它具备“思考”的能力，有“创新”的能力，它在原有认知基础上进一步发展，从而具备了自己的围棋观点和思路，这一点颠覆了我们的认知。笔者希望人工智能在其他领域也能够像阿尔法狗一样，能够与外部环境结合起来，不断突破自身的局限性，就像猿猴逐渐向人类进化一样（而不是向人类期望之外的方面发展，脱离人类的控制），最终总结出一套属于自己的模式，而不是单单的依靠大量的原始数据总结出类似的经验，再根据这些经验来得出结论。第三，归责机制。如果人工智能产品出现侵权事件，那就需要有一套解决方案。考虑到适用情况的不同，此归责机制又可从多层次进行规范。首先，当人工智能侵权时，如果侵权的原因是由于设计者或者生产者的过失所导致的，那么就由民法中产品责任的相关规定进行规范调整。其次，建立赔偿基金会，这个赔偿基金会由人工智能生产者或设计者缴纳一定的保险金组成。如果侵权的原因是基于科技本身导致的，或者法律对此并没有相关的规定（比如一个人工智能系统在就业选择上对女性存在歧视的情况），这时就由该基金会出面解决此事项。第三，预防机制。关于预防措施笔者有以下是几点建议：1、为人工智能设定权利边界。人工智能毕竟不是人，必须给与一定范围的限制，以防止国家治理、法律运行以及社会稳定带来的安全风险。至于如何进行限制，无论是采取“例示规定”，还是“列举式”的立法方式，都会引发人工智能权利的不可穷尽性之难题。与此相反的是“法律保留”。尽管法律保留难以明确人工智能权利的具体内容，却能够在限定其权利边界上带来更好的效果。[49]2、在赔偿基金成立之后，如有一些预料之外的状况，或目前的法律对此有漏洞与空白，将由该基金委员会进行协调管理。3、该机构可颁布类似于交通强制险的办法，规定每当人工智能产品上市时，强制生产者（或者使用者）购买强制责任险，提前进行责任分配。当然，也可建立听证会制度等进行监督，每当涉及到人工智能产品的发布时，由政府，企业与消费者所组成的听证会来介绍有关功能以及后续相关解决方案，听取消费者的意愿。
（三）建立行业监管制度和推进技术创新
我们都知道人工智能的工作原理：设计师将设定的限制条件输入计算机，系统就会去“思考”每一种解决方案的可能性。通常，我们只需要在不同的设计阶段给出各种约束和限制性条件，计算机就能根据机器学习、大数据分析、材料工程、分析仿真等技术给出设计方案。就是说，计算机给出的设计方案其实源于设计师输入的原始数据，其完全受到人工设计的结构和学习进程中接收的数据的世界观的影响，尤其是语言处理问题。在笔者看来，我们希望的人工智能应该是客观的，不具备任何倾向性的，不然它得出的决策便不具有公信力。因此，虽然在人工智能大数据时代强调数据的多样性，但须强调提高数据规范的公开程度，逐步统一数据的公开渠道。例如，当前法学实证研究可在数据库中公开统一程度最高的当属裁判文书，所有生效裁判文书均上传至裁判文书网进行公开。另一方面是规范数据公开的形式，其自然语言表述形式往往具有多样性，统一内涵的概念或事件等往往可以通过多种不同的形式予以表述。如果能规范自然语言文本中同类概念表述的统一性，
则可以大大降低相应自然语言处理技术应用的难度，进而提升数据处理的效率与准确率。以裁判文书为例，虽然对于当事人表述的记载应尽量遵从原文，但对于由审判人员依规定自行组织语言部分的内容，则在同一表述方面具备可行性。然后，还可增强公开数据的结构性，基于数据的非结构性特征，如何在进行数据分析之前进行结构化处理是开展实证研究不可回避的问题。就目前已有的实证研究来看，多数学者均选择了人工提取的形式来实现数据结构化。但付出的代价也很明显，即通过缩小研究范围或抽样来降低数据量级。如果要真正开展大数据级别的实证研究，这一代价显然不能接受。但由于现阶段计算机技术发展水平的限制，在研发出可靠计算机辅助工具进行数据处理之前，尚需有效地利用人工筛选方法，以解法学实证研究燃眉之急。
此外，数据处理技术的核心在于自然语言处理，而自然语言处理作为一项跨学科研究领域，其在特定领域范围内的研究与应用必然离不开领域内专家学者的参与。自然语言处理研究早期，基于规则的自然语言处理方法，需要依靠领域专家耗时数月或者更长时间总结并参与编写语法规则，而现阶段机器学习中出现的推动自然语言处理技术飞速发展的深度学习方法，则需要基于大量本领域数据进行长时间地训练才能不断提高数据处理的准确率。机器训练的过程同样需要本领域专家的参与，以更好地引导机器做出涉及本领域专业知识的正确判断。因而，要实现自然语言处理技术在特定领域的应用，则不可避免的需要本领域专家参与应用程序研制及开发。
鉴于人工智能技术领域的重要性和专业性，相关企业或者民间团体有必要考虑在全国范围内构建自治性行业监督管理委员会，对本行业业务指导和监督管理。通过人才、技术的优势，协助和参与国家制定人工智能发展和产业的总体规划与措施，创设我国人工智能运算的行业标准和规则，构建我国人工智能顾问专家和高端人才库，构建统一公开完整的人工智能数据资料平台。有必要建立人工智能技术纠纷仲裁委员会，力求通过专业技术性人员，对应用的数据资料进行全方位地监管，力求数据的客观完整性。
【注释】 *本文系国家社会科学基金一般项目“公共服务中PPP模式行政法律制度研究”（项目批准号：16BFX052）。
**湖南大学法学院副教授。
[1] 参见熊辉：《人工智能发展到哪个阶段了》，载《人民论坛》2018年第2期。
[2] 参见中华人民共和国国务院：《新一代人工智能发展规划》，2017-07-08。
[3] 参见刘宪权：《人工智能时代的刑事风险与刑法应对》，载《法商研究》2018年第1期。
[4] 参见孙伟平：《关于人工智能的价值反思》，载《哲学研究》2017年第10期。
[5] 参见王勇：《政府信息公开制度的法理基础》，载《中共中央党校学报》2005年第3期。
[6] 同上注。
[7] 高奇琦、张鹏：《论人工智能对未来法律的多方位挑战》，载《中国科技大学学报》2018年第1期。
[8] 同上注。
[9] 参见http://mp.weixin.qq.com/s/8xJTg9JxJrLpuvGCAfxTNA，参阅时间：2018年3月20日。
[10] 同前注[9]。
[11] 参见国际人权法教程项目组编写：《国际人权法教程》，中国政法大学出版社2002年版，第398页。
[12] 参见Critical Review of Academic Literature Relating to The EU Directives to Combat Discrimination，P23， http://www.focus-consultancy.co.uk.
[13] 同前注[11]，国际人权法教程项目组编写，第384页。
[14] 参见［英］哈耶克：《自由秩序原理》（上册），邓正来译，三联书店1997年版，第105页。
[15] 参见李薇薇：《论国际人权法中的平等与不歧视》，载《环球法律评论》2004年第2期。
[16] 参见［美］安·韦伯：《社会心理学》，赵居莲译，桂冠图书出版公司（台北）1997年版，第203页。
[17] 参见［奥］曼弗雷德·诺瓦克：《民权公约评注》，毕小青、孙世彦主译，生活·读书·新知三联书店2003年版，第46页。
[18] 参见周伟：《论禁止歧视》，载《现代法学》2006年第5期。
[19] 同前注[15]，李薇薇文。
[20] 参见朱振：《论人权公约中的禁止歧视》，载《当代法学》2005年第19期。
[21] 参见苏令银：《透视人工智能背后的歧视》，载《中国社会科学报》2017年第005版。
[22] 参见CaireC. Miller. When Algorithms Discriminate[N]. The New York Times,2015.
[23] 参见http://mp.weixin.qq.com/s/OczbKMz-Ouh5XHU9fq4lMA；http://m.caijing.com.cn/article/139277?target=blank&from=singlemessage，参阅时间：2018年3月26日。
[24] 参见《中国青年报》，2018年3月15日第007版。
[25] 参见https://www.propublica.org/series/machine-bias,参阅时间:2018年4月28日。
[26] 同前注[21]，苏令银文。
[27] 参见都玉霞：《平等权的法律保护研究》，山东大学出版社2011年版，第67-69页。
[28] 参见https://www.technologyreview.com/s/602955/ neural-network-learns-to-identify-criminals-by-their-faces/，参阅时间：2018年3月2日。
[29] 参见Matthew Hutson.“Missing data hinder replication of artificial intelligence studies”,Science, February15,2018.
[30] 参见曹建峰：《人工智能-机器歧视及应对之策》，载《信息安全与通信保密》2016年第12期。
[31] 参见季卫东：《人工智能时代的司法权之变》，载《东方法学》2018年第1期。
[32] 参见［美］博登海默：《法理学——法哲学及其方法》，邓正来、姬敬武译，华夏出版社1987年版，第478页。
[33] See P. Wahlgren, Automation of Legal Reasoning: A Study on Artificial Intelligence and Law, Computer Law Series 11. Kluwer Law and Taxation Publishers. Deventer Boston 1992. Chapter 7.
[34] 参见张保生：《人工智能法律系统的法理学思考》，载《法学评论》2001年第5期。
[35] 同前注[31]，季卫东文。
[36] 同前注[21]，苏令银文。
[37] 同前注[4]，孙伟平文。
[38] 参见李晟：《略论人工智能语境下的法律转型》，载《法学评论》2018年第1期。
[39] 同前注[21]，苏令银文。
[40] 同前注[4]，孙伟平文。
[41] 参见腾讯研究院：《人工智能各国战略解读：英国人工智能的未来监管措施与目标概述》，载《电信网技术》2017年第2期。
[42] 同前注[30]，曹建峰文。
[43] 参见吴汉东：《人工智能时代的制度安排与法律规制》，载《法律科学》2017年第5期。
[44] 同前注[43]，吴汉东文。
[45] 同前注[41]，腾讯研究院。
[46] 参见胡裕岭：《欧盟率先提出人工智能立法动议》，载《检察风云》2016年第18期。
[47] 前引[4]，孙伟平文。
[48] 同前注[4]，孙伟平文。
[49] 参见张玉洁：《论人工智能时代的机器人权利及其风险规制》，载《东方法学》2017年第6期。
【期刊名称】《法学评论》【期刊年份】 2019年 【期号】3
