肺癌是全球癌症相关死亡的最常见原因。作为一项预防措施，美国预防服务工作组(USPSTF)建议对低剂量计算机断层扫描(CT)的高危人群进行年度筛查。由数百万人产生的CT扫描量将对放射科医师解释构成重大挑战。为了填补这一空白，计算机辅助检测(CAD)算法可能被证明是最有希望的解决方案。使用CAD分析肺癌筛查结果的关键第一步是检测肺结节，肺结节可能代表早期肺癌。这项工作的目的是开发和验证基于深度人工神经网络的强化学习模型，用于早期检测胸部CT图像中的肺结节。灵感来自AlphaGo系统深度学习算法将原始CT图像作为输入并将其视为状态集合，并输出是否存在结节的分类。总共有888次CT扫描，其注释基于四个放射科医师中至少三个的协议。结果，有590个人具有一个或多个结节，298个没有结节。训练结果总体准确率为99.1%敏感性为99.2%，特异性为99.1%，阳性预测值(PPV)为99.1%，阴性预测值(NPV)为99.2%。在测试中，结果产生了64.4%的总体准确度。
　　计算机断层扫描(CT)是一种利用X射线创建内部身体结构的详细图像的成像程序。目前，CT成像是筛查高危人群早期肺癌的最优选方法。在全球范围内，肺癌是癌症相关死亡的主要原因。在美国，肺癌每年袭击225,000人，医疗费用达120亿美元。早期发现对于为患者提供生存和康复的最佳机会至关重要。
　　筛查低剂量CT扫描的高危人群已被证明可降低死亡率。然而，在解释筛查中存在显着的观察者间差异以及大量误报，这增加了成本并降低了筛选程序的有效性。鉴于肺癌的高发病率，通过减少假阳性和假阴性来优化筛查，通过限制不必要的活检，辐射暴露和其他筛查的二次成本，对公共健康产生重大影响。
　　一些研究表明，成像可以在很大程度上预测肺结节的存在。临床上，检测肺结节是肺癌筛查结果分析中至关重要的第一步 - 结节可能代表也可能不代表早期肺癌。已经为此任务提出了许多计算机辅助检测(CAD)方法。大多数(如果不是全部)使用经典机器学习方法，例如监督/无监督方法。这项工作的目标是首次采用强化学习(RL)算法进行肺结节检测。RL是由Google DeepMind开发的，它是一种先进的机器学习方法，它改进了众多的CAD系统，并有助于击败Go游戏中最优秀的人类玩家，Go是人类发明过的最复杂的游戏之一。在这里，研究人员将RL应用于肺结节分析(LUNA)数据集，并分析RL模型在检测胸部CT图像肺结节中的表现。
　　在这项研究中提出了一种强大的非侵入性方法，使用RL方法从肺部CT扫描预测肺结节的存在，这是肺癌的常见前兆。这种方法的一个主要优点是它允许为复杂问题开发新颖且不可预测的解决方案。根据使用LUNA数据集的培训结果，研究人员能够获得极好的灵敏度，特异性，准确性，PPV和NPV。虽然测试数据集的指标较低，但它们是一致的。在数据大小和试验次数方面，都取得了类似的结果。这种一致性表明，研究人员将RL与非预处理数据一起使用的研究方法是可重复的。此外，鉴于RL的性质，该模型将继续随着时间和更多数据而改进。
　　RL算法不断改进的方式不仅取决于数据集的质量，而且更重要的是取决于其大小。尽管玩Go游戏的任务与检测肺结节非常不同，但可以得出的推论是强化学习算法，例如AlphaGo，需要大量数据来训练。鉴于原始数据集的小尺寸，在捕获人类肺容量的巨大变异性和结构差异方面存在固有的困难。在数据集中只有888次CT扫描和大约1,148个结节状态，其中70%用于训练，研究人员学到的教训是模型需要大量更多的数据。培训AlphaGo达到超人类表现所需的大量数据和硬件证明了这一点。
　　值得注意的是，AlphaGo的表现取决于它对人类玩家的表现。同样，模型表现是基于它在检测肺结节时对至少三位放射科医师的表现。如何将给定病变分类为结节是由四位放射科医师中至少三位的共识确定的。当比较一名放射科医师与至少三名放射科医师分类为结节的病变数量时，观察到显着的变异性。对于在所有扫描中发现的病变，所有四位放射科医师将928个病灶分类为≥3mm的结节，并且至少一个放射科医师将2,669个病灶分类为≥3mm的结节。这意味着对于≥3mm的结节，给定个体放射科医师的错误发现率为65.2%。相比之下，尽管过度拟合，模型分类在验证数据集上产生了44.7%的错误发现率，与单个放射科医师相比这是一个改进。
　　鉴于非常高的训练结果，出现了过度拟合的问题。对于小数据集，肺结节的潜在概率分布不足以创建完全可推广的模型，特别是考虑到它基于RL。与大多数参数测试一样，样本的基本假设是它们充分捕获它们所代表的种群的方差。对于小数据集，根据变量，数据的随机子集可能无法充分捕获整个数据集的方差。使用LUNA数据集时，考虑到它具有非常高的维度，模型需要更多的数据来捕获其无数变量的真实方差，这尤其是一个问题。与AlphaGo中的数百万个游戏相比，大多数CT图像数据集包含数千个图像，因此比较并不完全相同。研究人员采用了辍学和数据增强来增加模型对于过度拟合的普遍性。这两种方法结合在一起，对效果的影响微乎其微。研究人员还尝试了另一种方法，即减少网络规模，但这种方法导致培训和验证结果出现显着波动。无论过度拟合，验证数据集上的性能表明我们的模型实现了足够的泛化以与人类放射科医师竞争并且可以作为第二读者。还尝试了另一种方法，即减少网络规模，但这种方法导致培训和验证结果出现显着波动。无论过度拟合，验证数据集上的性能表明模型实现了足够的泛化以与人类放射科医师竞争并且可以作为第二读者。研究人员还尝试了另一种方法，即减少网络规模，但这种方法导致培训和验证结果出现显着波动。无论过度拟合，验证数据集上的性能表明模型实现了足够的泛化以与人类放射科医师竞争并且可以作为第二读者。
　　众所周知，包括CT图像在内的医学成像可以是非常不均匀的。从图像切片的数量，使用的扫描机器和所使用的扫描参数，每个患者的图像数据是非常不同的。这种异质性的显着负面副产品是产生的无关紧要特征的天文数字与感兴趣的结果无关，例如肺结节的存在。对于要与之抗衡的机器学习算法，要么数据大小必须指数地增加，要么必须通过仅对相关特征进行过滤来预处理许多不重要的特征。之前增加数据集的选项是不切实际的，因为LUNA数据集已经是最大和最全面的图像数据集之一。因此，目前关于用于肺结节检测的CAD系统的文献中的大多数(如果不是全部)方法采用预处理的第二选择。通过使用各种过滤器，掩模和一般预处理工具，这些方法可以大量管理和改变原始医学图像数据。结果，这可以创建原始数据集的无限数量的变化，并且这种主观实践使得很难再现任何实验结果。研究人员选择使用数据而无需预处理，以确保结果可重复。这可以创建原始数据集的无限数量的变化，并且这种主观实践使得很难再现任何实验结果。选择使用数据而无需预处理，以确保结果可重复。
　　此次研究突出了使用RL进行肺结节检测的前景。该模型有几个实际应用，其中之一是作为放射科医师和受训者识别肺结节的第二意见或学习系统。使用RL方法的强烈吸引力在于模型始终处于学习状态。对于每一位新患者，该模型通过考虑新信息并在其对先前患者的历史信息的概率记忆的基础上进行扩展，从而扩展其学习。这种现象使得人工智能模型AlphaGo在每场比赛后都能不断提高，最终在几场比赛后击败每位球员，包括卫冕世界冠军。同样，希望模型会随着观察越来越多的情况而继续改进。