AI能识别5G SEP的必要性评分的研究

介  绍

识别技术标准（例如由3GPP、欧洲电信标准化协会（ETSI）和IEEE发布的标准）所必需的专利是一项耗时的任务，通常需要技术专家和专利律师花费数小时进行审查。据称已经有超过18,000个专利族（其中包括超过87,000件个人专利）[1]被宣布“可能或可能成为”5G蜂窝标准的必要专利。[2]在这个范围内存在一子集的专利，即其权利要求对实施5G标准而言是真正必要的。而准确地识别这一子集并不是一项简单的任务。

最近，自动化工具，特别是基于人工智能（“AI”）的系统，作为简化识别和评估标准必要专利程序的手段，受到业界关注。例如，2020年欧洲委员会（“EC”）发布了名为《标准必要专利必要性评估试点研究》的报告，[3]其中研究了使用基于AI的方法评估必要性的可行性。EC的最终结论是，“自动化方法在短期和中期内将无法取代人类的努力”。[4]尽管如此，多个私营公司正在发布工具，声称利用机器学习算法识别标准必要专利。其中一个工具是IPlytics平台开发的“语义必要性评分”，简称“SES”。[5]

IPlytics将其SES描述为“确定专利必要性的第一步”，并作为“专利对于其声明的标准是必要的可能性有多大” 的“指南”。[6] SES的范围“从1到100，100表示最有可能是必要的”。[7]SES是基于“独立的专利权利要求与标准部分之间的语义映射”。[8]

首先，将必要性表示为从1到100之间的数字的这一想法是存疑的。例如，如果专利的SES为50，则不清楚其含义是什么，因为必要性是一个二元概念，要求至少一个专利权利要求的每个限定特征与适用标准规定的功能相对应。也就是说，专利权利要求要么对标准是必要的，要么不是。ETSI指出，“‘必要知识产权’是已包含在标准中，且不使用该知识产权就无法实施该标准。因此，避免在实施标准方面侵犯此知识产权的唯一方法是向权利人请求许可。”[9]

考虑到这一点，人们可能会认为任何SES得分低于100的专利都不是必要的；然而，在我的调查中，IPlytics平台未将任何一个专利的SES得分认定为100。这个结果毫无意义，没有就专利的必要性问题向用户提供任何指导。

为了更深入地探索IPlytics的陈述，我购买了IPlytics平台的许可。使用IPlytics平台数月后，我发现SES得分并不是识别必要专利的有用“指南”。下面我将解释我用来理解IPlytics平台生成的SES，以及SES与必要性之间关系的三种方法。

首先，我查看了IPlytics平台上已向4G和5G标准披露的专利的SES得分为95或以上的情况。[10]我确定，SES不是必要性的可靠指标，也不是必要性的信心指数。更具体而言，在34个SES得分为95或以上的结果中，有22个（65%）所识别的标准内容，在我看来，似乎与IPlytics平台识别为最有可能是必要的专利权利要求无关。换句话说，尽管这些权利要求被IPlytics平台赋予了最高的SES分数，但显然它们对所识别的标准内容并不是必要的。

其次，我检查了4G LTE标准相关的美国专利的SES，这些专利已获最终的侵权或非侵权的诉讼裁决。这个审查中得出了一些有趣的结果。由于专利诉讼的高成本和风险，人们有理由认为，那些已经进行专利诉讼获得判决的专利，是专利权人倾向于主张的专利，因此与声明为 4G LTE 标准所必要的一般专利群相比，用以进行诉讼的专利更有可能是必要的。然而，当我将已获最终判决的诉讼专利的 SES 分布与声明为 3G、4G 和 5G 标准必要专利的、数量更多的专利群的 SES 分布进行比较时，它们在统计上非常相似。也就是说，SES 值并没有表明那些进行诉讼的专利比声明为必要的专利群更“可能”是必要专利。

此外，每个用于专利诉讼的专利的 SES 也与美国对必要性的最终仲裁者——联邦法院的结果不一致。我的研究发现，由法院认定具有必要性的专利的平均 SES与法院认定为不具有必要性的专利的平均 SES 在统计上没有差异。实际上，这意味着 IPlytics 平台无法比抛硬币更好地区分必要专利和非必要专利。

第三，通过我的分析，我发现IPlytics平台的数据存在一些惊人的异常之处，这些异常引起了对IPlytics平台和SES的实用性和可靠性的质疑。例如，SES值为99的最“必要”的专利却明显不是必要的。IPlytics平台还显示一些化学或制药专利，它们与4G LTE和5G标准相关的SES值在80以上。

移动通信标准的必要性概述

提交ETSI 知识产权声明的专利权人表示，“声明人和/或其关联企业目前认为，所附的知识产权信息陈述附表中披露的知识产权至少对于所附知识产权信息陈述附表中确认的ETSI工作项目、标准和/或技术规范而言可能是或者可能成为必要的。[11]

从已作出声明的专利中识别出其中对ETSI标准所必要的专利是一项占用大量资源的任务，其中涉及找到一个“在技术（而非商业）层面”所必需的专利权利要求，“以制造、销售、租赁及以其它方式处置、维修、使用或操作符合一项标准的设备或方法而不侵犯该权利要求。”[12]换句话说，一个必要专利是指为了符合标准，一件产品必须具备或实施的专利权利要求。

正如欧委会在其2020年的研究中指出的，“必要性是一个二元概念...不存在所谓的必要性‘程度’”。[13]尽管各方可能就专利是否实际上必要存在分歧，但最终会确定专利是或不是必要的。对于标准必要性的评估通常在善意许可协商或诉讼过程中进行。权利人声明其专利对标准必要并不一定意味着该专利实际上是必要的。

IPlytics平台和SES概述

IPlytics平台收录了声明对3G、4G和5G移动通信标准必要的专利及其专利族的信息。用户可以通过多种方式筛选数据，例如，根据专利被声明对其必要的标准、SES、作出声明的公司以及专利是否已经进行过诉讼等。在查看单个专利时，除了各种文献数据外，在专利权人对该专利作出的相应ETSI 知识产权披露文件中确定的3GPP标准部分旁边，用户还可以查看对该专利的样本权利要求的SES分值。在使用SES进行筛选时，平台上显示的结果中，每一行都将专利与标准部分配对，并为该配对赋予一个SES分值。在本文中，我将每个专利权利要求与标准文件的配对称为“专利/文件配对”或“配对”。据我所知，IPlytics平台声称能够找到相关性最强的独立权利要求和标准内容，并根据该相关性的强度为每个配对赋予一个SES分值。

对IPlytics平台和SES的审查

如上所述，我使用了三种方法来评估IPlytics平台和SES。每种方法及其结果都在下面详细说明。在我的审查中，我在2022年7月和8月使用了IPlytics平台，审查的数据来源于该平台在那段时间的内容。

方法一：对SES大于等于95的专利进行分析

为了探索SES是否与必要性相关，我认为合适的是审查IPlytics平台显示的所有SES大于或等于95的结果。在根据SES进行筛选之前，我通过选择已授权的美国和欧洲专利来筛选IPlytics的数据，以避免机器翻译问题。我只研究了已授权的专利，因为无法确定未授权的权利要求是否具有必要性（尽管奇怪的是，IPlytics平台会给待审查的专利申请赋予SES分数）。我没有进一步以有效专利作为筛选标准，因为专利诉讼可以在专利过期后发生。考虑到大部分SEP诉讼是用户设备通信协议（例如，手机）相关的，我还以声明为适用于RAN1、RAN2、RAN3和RAN4工作组的4G和/或5G标准的专利为标准进行了筛选。该筛选出的数据集包含了26,985个专利族的54,339个专利的298,534个专利/文件配对。这是我在本文中用来进行分析的数据集。

为了评估95或更高的SES分值与专利必要性的相关性，我接下来使用SES进行筛选，以审查具有95或更高SES的结果。IPlytics平台显示出了17个专利族的22件专利的34个专利/文件配对。我对IPlytics平台显示的34个配对的专利权要求和ETSI标准部分均进行了审查，并对每个配对回答了以下问题：“得出的专利权要求是否可能与标准文本相关？”答案是二元的，是或否，且把IPlytics平台往好的方向考虑。

即使采用这种宽松的测试，我也发现：大量的专利权利要求与IPlytics平台提供的识别出的标准表述完全不相关。在这34个配对中，有22个（65%）与所识别的标准部分没有可靠的必要性，而只有12个（35%）有必要性。有趣的是，我注意到此数据集中的大部分结果都由包含大型数值表的权利要求和标准部分组成。尽管表格明显不同，但IPlytics平台似乎仅仅因为权利要求和标准文件中出现了相同的数字就分配了高SES值。此外，在应用SES评分95进行筛选之前，数据集中SES最低的是一项Ericsson专利，SES为40。尽管它的SES较低，但与许多SES为95或更高的配对相比，这项专利的权利要求和标准配对更合理。[14]IPlytics的数据集中也没有任何SES低于40的专利。

对此数据应用二项式检验显示，结果从95％可信度数据集获得的概率极小。

基于我的审查，我得出结论，SES不能用作置信水平的依据，即不能作为指示95％的SES为95的专利是必要的指标。我发现许多专利权利要求和引用的标准部分无关，而二项式检验显示IPlytics平台的结果与95％可信度数据集不一致。

方法二：对一组已诉讼的美国SEPs的研究

作为对IPlytics平台的第二个测试，我依据诉讼数据来测试SES指示必要性的效果。为此，我识别了涉及诉讼的已声明的4G LTE标准必要专利，这些专利在所针对的标准方面已经实际获得了侵权或未侵权的司法裁定。

使用方法一中IPlytics平台的数据（在应用SES评分95进行筛选之前），我筛选了已提起过诉讼的美国专利，并确定了那些经过法院诉讼且法院已经确定该专利对于4G标准是否必要的专利子集，结果得到了28项专利。这使我能够创建一个2x2的“事实矩阵”，如下所示，它定义了IPlytics平台中同样28项专利的理想结果。以下表格以百分比和专利原始数量显示了事实矩阵。

事实矩阵——专利的数量上的必要性（%）

请注意：表格的行是事实（由法院裁定的值），列是我们期望的如果工具与法院裁定正确地保持一致的结果。这个表格代表了IPlytics平台的预期操作结果。

我使用IPlytics平台审查了“正集”（即由美国法院确定为标准必要的17项专利）和“负集”（即由美国法院确定为非必要的11项专利）的SES评分。

对于正集（标准必要专利），IPlytics平台得出了来自14个专利族的17项专利的159个专利/文件配对。其中144个文件配对具有非零SES值，其余15个配对没有SES值。如上所述，我把没有SES值的文件配对看做没有被IPlytics平台评估过，并将它们从我的分析中删除。

以下柱状图显示了正集中144个SES值的分布。

对于确定为必要的专利/文件配对中的SES值的直方图

值得注意的是，没有一个确定具有必要性的专利的SES值超过90。这144文件配对的平均SES值为71，均值为70.7，标准差为6.5。

适用卡方检验（Chi-squared test）表明，这个分布与预期的100%正结果显著不同。

对于负集（非标准必要专利），IPlytics平台得出了来自7个专利族的9项专利的74个专利/文件配对。其中71个配对具有非零SES值，剩余3个配对没有SES并被从分析中删除。

以下直方图显示了负集中71个SES值的分布。

对于确定为非必要的专利/文件配对中的SES值的直方图

这71个文件配对的SES平均值为69，均值为68.5，标准差为8。

适用卡方检验表明，这些非标准必要专利的SES分布明显不同于0％必要专利的预期结果。

我想确定正负分布是否独立，也就是说，这两个分布是否相似或不同。对这两个分布进行卡方检验表明它们不是相互独立的。也就是说，IPlytics平台不能在正负数据集之间进行静态区分。换句话说，这两个分布均是同一过程的实例。也就是说，IPlytics平台对标准必要专利和非标准必要专利的评估并没有为各自的群体产生可区分的SES结果。

我还生成了使用的整个数据集的直方图（在应用SES评分95进行筛选之前）。该直方图如下所示。我预计，前两个直方图中诉讼专利文件配对的分布会偏向于较高的SES值，因为考虑到诉讼所涉及的成本和风险，这些专利可能是专利权人主张权利的主要候选专利。卡方检验表明，正集和负集的分布均与更大的、声明必要的专利群没有显著不同。

方法一中的专利群的SES值的直方图

将正集和负集的数据放入矩阵中也可以说明IPlytics平台的结果与“事实矩阵”相差有多远。

例如，如果我们任意假设SES值高于50的每对文件都表示具有必要性，那么我们将获得以下矩阵，因为所有144个“正”专利和所有71个“负”专利的SES值都高于50。

文件配对的数量上的必要性（%）

注意：行是事实（由法院裁定的值），列是在假设 SES 值为50表示专利是必要时，IPlytics平台所确定的结果。

这个矩阵与事实矩阵差异很大，IPlytics平台偏向于给出高于50的非零SES值，即使专利已被法院判定为非标准必要。在发现存在某些语义匹配的情况下，IPlytics平台都会给专利/文件配对赋予高的SES值。

如果我们改为假定，SES值大于70的每队文件都表示具有必要性，那么由于56％的“正”专利和58％的“负”专利的SES值均大于70，我们会得到以下矩阵。

文件配对的数量上的必要性（%）

注意：行是事实（由法院裁定的值），列是在假设 SES 值为70表示专利是必要时，IPlytics平台所确定的结果。

即使SEP值提高为70，仅对56％的法院判定为标准必要专利以及与42％的法院认定为非标准必要专利，IPlytics平台的数据与事实矩阵一致。换句话说，SES仅在一半的概率内与法院判定的结果一致，与投掷硬币的概率相同。

根据我的调查，SES不能用作必要性的指标，与对必要性的司法裁定相比，它在预测必要性方面似乎并不比投掷硬币更好。IPlytics平台不能区分必要和非必要专利，必要专利和非必要专利的配对分布不像它们本应该那样的相互独立。

方法三：审查错误数据和SES值

方法一使用的数据集中，有几个数据点引起了对IPlytics平台及其整体数据可靠性的质疑。首先，我的数据集中必要性评分最高的专利是华为的美国专利第11,082,269号，其SES为99。IPlytics平台将该专利第17项权利要求与TS 38.211 v17.1.0第5.2.2.2节配对。第17项权利要求是一项保护范围狭窄的权利要求，它列举了几个涵盖10列数值的矩阵。IPlytics平台显示的标准部分涵盖了一个明显非常不同的数值矩阵，因此该权利要求对于这个标准部分不可能是必要的。

其次，IPlytics平台给出了几个与蜂窝通信技术无关的专利，但它们与ETSI蜂窝标准相关的SES值很高。我查出34个化学或医药专利族的41个专利的172个专利/文件配对，而这些专利据称是向ETSI蜂窝标准作了声明。显然，这些都是不正确的数据条目。

例如，IPlytics平台给出了美国专利第RE42,461号，标题为“用作降低胆固醇的代谢抑制剂的羟基取代的氮杂环丙酮类化合物”。IPlytics平台给了这项专利82的SES评分。IPlytics将这个专利与名为“多重连接性；总体描述；第2阶段”的TS 37.340 v17.0.0配对。具有相同标题的其他专利针对标准TS 38.331 v17.0.0的SES评分为88，针对TS 38.133 v17.5.0的SES评分为87，针对TS 38.215 v17.1.0的SES评分为87。IPlytics不公开其SES评分算法，但这些高SES值可能与权利要求中出现的“NR”字符有关——指向氮键到R取代基团——IPlytics平台似乎将其与ETSI规范中的意为“5G-NR”或“新无线电”的“NR”等同了。

另一个例子是Excor Korrosionsforschung Gmbh公司提交的美国专利第6,752,934号，其标题为“气相防腐剂及其制备方法”。IPlytics平台将此专利与标题为“音频编解码器处理功能; 扩展自适应多速率 - 宽带(AMR-WB+)编解码器; 转码功能”的TS 26.290 v6.1.0作了匹配，该文件配对的SES评分为92。这显然是错误的。

总体结论

IPlytic的SES分数不是一个可靠的必要性指标。与实际的法院裁决结果相比，IPlytics平台无法预测必要性。IPlytics数据库存在不一致性，可能导致得出错误的结论。因此，IPlytics声称的“语义必要性评分（Semantic Essentiality Score）指导您判断专利对于其声明的标准是必要的可能性有多大”是错误的。[15]与欧盟委员会的结论一致，即利用基于人工智能的工具确定必要性在短期到中期内不可行，IPlytics平台和SES已被证明无法指示甚至指导必要性分析，并且不应用于此类目的。

注释

[1] Amplified and GreyB, Updated Findings on Essentiality of 5G declared Standard Essential Patents (链接：https://info.greyb.com/hubfs/Downloadable_Reports/5G%20Report%20-%201st%20Release.pdf).

[2] 请参见 ETSI IPR Policy, IPR Licensing Declaration forms, Appendix A (链接：https://www.etsi.org/images/files/IPR/etsi-ipr-policy.pdf).

[3] European Commission, Pilot study for essentiality of Standard Essential Patents (链接：https://publications.jrc.ec.europa.eu/repository/handle/JRC119894).

[4] 同上，115

[5] IPlytics网站: The All New Semantic Essentiality Score, https://www.iplytics.com/platform/semantic essentiality-score/ (最后访问于2022年9月14日).

[6] 同上

[7] 同上

[8] 同上

[9] Guide on Intellectual Property Rights (IPRs) Version adopted by Board#133 (10 June 2021), § 1.5, (链接：https://www.etsi.org/images/files/IPR/etsi-guide-on-ipr.pdf).

[10] 在我审查时，有11,486项声明为3G、4G和5G标准所必要的专利没有SES评分。目前不清楚IPlytics平台的用户是否应该忽略这些专利，因为缺少评分意味着与标准的相关性不强，或者它只是表明数据缺失，而所有这些专利都应该被认为是必要的而待进一步的审查。考虑到这个类别中专利的数量，SES并没有实现其减轻识别必要专利负担的营销承诺。为了审查的目的，我假设这11,486项专利仅仅是未被IPlytics平台评估。

[11] 请参见 ETSI IPR Policy, IPR Licensing Declaration forms, Appendix A.

[12] 请参见 ETSI IPR Policy, §15.6.

[13] 《标准必要专利必要性评估试点研究》第13页.

[14] 将标题为“Predictive acknowledgment feedback mechanism” 的US10382171B2号专利与ETSI TS 38.213 v15.3.0文件进行了配对。

[15] IPlytics网站: The All New Semantic Essentiality Score, https://www.iplytics.com/platform/semantic essentiality-score/ (最后访问于2022年9月14日)