自主机器人腹腔镜肠吻合术 2022-1-30

admin

自主机器人腹腔镜肠吻合术



H· 赛伊迪 HTTPS://ORCID.ORG/0000-0001-6170-9310JD OPFERMANNM. KAM HTTPS://ORCID.ORG/0000-0002-7687-0980S. 魏 HTTPS://ORCID.ORG/0000-0001-8679-9615S. 伦纳德 HTTPS://ORCID.ORG/0000-0001-6429-4755MH HSIEHJ. U. KANG和 A.KRIEGERHTTPS://ORCID.ORG/0000-0001-8169-075X 作者信息和隶属关系
科学机器人• 2022 年 1 月 26 日•第7卷，第62期•DOI：10.1126/scirobotics.abj2908

抽象的自主机器人手术有可能提供与个体外科医生的技能和经验无关的疗效、安全性和一致性。自主吻合术是一项具有挑战性的软组织手术任务，因为它需要复杂的成像、组织跟踪和手术计划技术，以及通常在非结构化和可变形环境中通过高度适应性控制策略的精确执行。在腹腔镜环境中，此类手术更具挑战性，因为在运动和视力限制下需要高可操作性和可重复性。在这里，我们描述了一种增强的腹腔镜软组织手术自主策略，并展示了机器人腹腔镜小肠吻合术在模型和体内肠道组织中的吻合。这种增强的自主策略允许操作员在自主生成的手术计划中进行选择，机器人独立执行各种任务。然后，我们使用我们增强的自主策略在 1 周的生存期内对猪模型进行肠道吻合的体内自主机器人腹腔镜手术。我们比较了已开发的自主系统、手动腹腔镜手术和机器人辅助手术 (RAS) 的吻合质量标准——包括针放置校正、缝合间距、缝合线咬合大小、完成时间、管腔通畅和泄漏压力。来自幻像模型的数据表明，我们的系统在一致性和准确性方面优于专家外科医生的手动技术和 RAS 技术。这也在体内模型中得到了复制。

介绍与当前的遥控机器人辅助手术 (RAS) 相比，自主机器人手术系统具有显着提高效率、安全性和一致性的潜力，例如达芬奇机器人 (Intuitive Surgical Inc.)。自主机器人系统旨在提供独立于个人经验和日常性能变化的标准手术解决方案。自主手术机器人系统的成熟示例包括用于刚性骨组织手术的 TSolution One ( 1 ) (THINK Surgical)、用于头发修复的 ARTAS ( 2 ) (Restoration Robotics Inc.) 和用于自主血液的 Veebot ( 3 ) (Veebot LLC)采样。目前，最先进的自主能力在 Cyber​​Knife 机器人中实现（4) (Accuracy Inc.)，该公司在人工监督下对脑部和脊柱肿瘤进行放射外科手术。但是，该机器人对封闭在刚性骨结构中的组织使用非接触式治疗方法。尽管做出了这些努力，自主软组织手术仍然面临着相当大的挑战。
非结构化环境中的自主软组织手术需要准确可靠的成像系统来检测和跟踪目标组织，需要考虑组织变形的复杂任务规划策略，以及通过适用于动态手术的灵巧机器人工具和控制算法精确执行计划情况（5）。在这种高度多变的环境中，术前手术计划，例如在刚性组织中，不是一个可行的解决方案（6）。在腹腔镜手术的情况下，由于目标组织的接近和可见性有限以及呼吸运动伪影的干扰，难度进一步增加。吻合术是一项软组织手术任务，涉及腔结构的近似和重建，需要高可操作性和可重复性，因此是在软组织手术场景中检查自主机器人手术系统的合适候选者。每年在美国进行超过一百万次的吻合术（7 – 11）。影响吻合结果的关键因素包括局部组织的健康状况，包括灌注状态和污染；吻合技术中的物理参数，例如缝线咬合尺寸、间距和张力；吻合材料，包括缝合线和订书钉；和人为因素，例如外科医生的技术决策和经验 ( 12 – 17 )。
医疗机器人的自主级别 (LoA) 分为不同的级别，从纯远程操作到完全自主 ( 5 , 18 )。根据（5、19）中介绍的分类， LoA包括LoA 0、无自治（如纯遥操作）；LoA 1，机器人辅助[由人类通过一些机械引导或机器人通过虚拟固定装置或主动约束的辅助进行持续控制（20)]; LoA 2，任务自主（机器人自主执行特定任务，例如运行缝合线，由人类通过离散控制而不是连续控制发起）；LoA 3，有条件的自治[“系统生成任务策略，但依赖于人类从不同的策略中进行选择或批准自主选择的策略”（19）]；LoA 4，高度自治（机器人做出医疗决定，但必须由合格的医生监督）；和 LoA 5，完全自主（无需人工即可执行整个手术的机器人外科医生）。
尽管在 ( 19 )中引入了医疗机器人自主性的高级分类，但可以理解的是，这些类别的范围很广，并且缺乏具体的指标来正确描述连续分类之间的自主性。作为回应，海德格尔 ( 5) 扩展了每个自治级别的定义，以包括基于所执行任务的类型或数量的经验评估。具体来说，在LoA 2，任务级自治中，系统被信任以自治的方式完成特定任务或子任务；在 LoA 3，监督自治中，系统自主完成大部分外科手术（例如吻合手术）并做出低级决策；在 LoA 4（高级自治）中，机器人系统根据人类批准的手术计划执行完整的程序。LoA 0 自主性最著名的例子是达芬奇手术系统，其中机器人在手术过程中的每一个动作都由外科医生通过主控制台远程操作。近期的许多作品，如 SmartArm ( 21 , 22)，仍然包括 LoA 0 自主性，并且是为在空间限制下进行操作而开发的，例如新生儿胸部手术。LoA 1 以共享控制的形式实施，以降低转向柔性机器人内窥镜 ( 23 ) 的复杂性。通过由机器人手臂和双通道近红外 (NIR) 和全光三维 (3D) 相机控制的机器人缝合工具，通过体内开放手术 ( 24 ) 首次演示了 LoA 2（任务自主）这使得机器人能够检测目标组织（稳定在体外）及其标志，计算组织上的线性缝合计划，并在人工监督下逐步执行缝合线放置。最近的方法证明了对猪模型进行 LoA 2 腹腔镜活体疝修补术。25 )。基于机器学习的技术主要自动化手术子任务，例如肿瘤消融 ( 26 )、粘弹性组织模型的清创 ( 27 )、清除手术区域 ( 28 )、用于结肠镜检查的磁性内窥镜的自主控制 ( 29 ) 以及机器人的自主转向相机支架（ 30）（即，LoA 2）或通过观察 LoA 3（ 31-34）中的幻影组织来学习模仿外科手术。更多与类似 LoA 定义一致的示例可在 ( 6 , 35）。尽管做出了这些相当大的努力，但大多数作品要么在复杂任务中表现出低自主性，要么在使用幻象组织的简单任务中表现出高度自主性。
作为我们的第一个贡献，我们实现了使用智能组织自主机器人 (STAR) 执行机器人腹腔镜小肠吻合术所需的增强自主性。这是通过开发几个自主功能来实现的，包括启动/暂停/取消暂停组织跟踪系统、检测组织的呼吸运动及其变形、通知操作员启动重新计划步骤、检测机器人工具故障、控制摄像机运动、缝合以均匀和非均匀间距的不同模式进行规划，预过滤计划以减少噪声和不规则性，预测工具与组织的碰撞，以及将机器人工具与组织的呼吸运动和远程运动中心 (RCM) 同步。操作员在自主建议的缝合计划中进行选择或批准重新计划步骤，并监控机器人是否根据需要重复缝合。主要目标是提高缝合线放置的整体准确性，同时通过额外的自主功能减少操作员的工作量和参与度。尽管该系统确实需要手动微调机器人以在漏针时正确定位，但使用此工作流程自主完成了超过 83% 的缝合任务。在我们之前的开放手术肠吻合术工作中（尽管该系统确实需要手动微调机器人以在漏针时正确定位，但使用此工作流程自主完成了超过 83% 的缝合任务。在我们之前的开放手术肠吻合术工作中（尽管该系统确实需要手动微调机器人以在漏针时正确定位，但使用此工作流程自主完成了超过 83% 的缝合任务。在我们之前的开放手术肠吻合术工作中（24)，组织跟踪只考虑了没有呼吸运动的静止组织，只考虑了一个没有噪声预过滤和碰撞预防的线性缝合计划选项，不包括自主重新计划建议，操作员需要监控缝合过程的每个子步骤，以及未实施工具故障监控和自主摄像机运动控制。因此，只有 57.8% 的缝合是自主完成的，无需调整。因此，与分步方法相比，这项工作中提出的发展在手术过程中提供了更多的自主性和准确性。这种增强的自主性与外科医生的监督相结合，为患者和外科医生带来了一些好处。增加机器人手术系统的自主性有可能使独立于外科医生培训、经验和日常表现变化的手术结果标准化。这将提高手术的一致性，减少外科医生的操作工作量，发挥他们的监督作用，保证整个手术的安全。吻合口参数的一致性——如缝线咬合大小、间距和张力——直接影响无渗漏吻合的质量。发挥监督作用，保障整个手术的安全。吻合口参数的一致性——如缝线咬合大小、间距和张力——直接影响无渗漏吻合的质量。发挥监督作用，保障整个手术的安全。吻合口参数的一致性——如缝线咬合大小、间距和张力——直接影响无渗漏吻合的质量。36 )，这反过来又改善了患者的治疗效果并降低了手术的复发和并发症发生率 ( 12 , 14 , 15 )。
这项工作的第二个贡献是能够在腹腔镜下实施增强的全吻合自主策略，这带来了各种技术和工作流程挑战。在新的腹腔镜设置中，组织通过经腹缝合线悬浮在患者的腹膜空间中。与开放式手术设置相比，目标组织的运动受到体外固定装置的限制，组织更容易接近，腹腔镜设置带来了多重挑战——包括呼吸运动对分期组织位置的影响；通过腹腔镜端口对机器人的变形、运动学和空间运动约束；工具偏转和力感应困难；能见度有限；以及对小型腹腔镜 3D 成像系统的需求——以及手术过程中的湿度等其他因素。我们开发了机器学习、计算机视觉和先进的控制技术来跟踪响应患者呼吸的目标组织运动，检测不同缝合步骤之间的组织变形，并在运动约束下操作机器人。我们通过用于腹腔镜肠吻合术的猪模型在一系列体内生存研究中展示了这种软组织机器人手术的实施。
结果在本节中，我们将解释增强型自主 STAR 系统的设计和工作流程，然后介绍组织运动跟踪器的精度测试，以及 STAR 和专家外科医生在幻影肠组织（一种无标记组织）中进行完整端到端吻合的比较测试地标跟踪方法，以及使用 STAR 完成腹腔镜小肠吻合的猪体内存活研究。将体内实验结果与对照测试条件进行比较，通过手动腹腔镜手术以标准工具和外科医生执行的手术内窥镜为基准（详见“体内端对端吻合”部分）。尽管体内实验证明了在临床前环境中实施的可行性，我们还通过对幻影组织的测试进行了一系列彻底的实验，通过几个指标比较了 STAR 的性能，这些指标在组织愈合过程后 1 周的生存期后无法测量（参见“幻影端到端吻合”部分详情）。此外，幻象测试条件支持受控干扰和鲁棒性测试，以检查每个系统在更广泛的条件下的能力。我们将 STAR 与护理标准进行了比较，包括使用 3D 内窥镜视觉和手动腹腔镜吻合术的基于 da Vinci SI 的 RAS。幻象测试条件使受控干扰和稳健性测试能够在更广泛的条件下检查每个系统的能力。我们将 STAR 与护理标准进行了比较，包括使用 3D 内窥镜视觉和手动腹腔镜吻合术的基于 da Vinci SI 的 RAS。幻象测试条件使受控干扰和稳健性测试能够在更广泛的条件下检查每个系统的能力。我们将 STAR 与护理标准进行了比较，包括使用 3D 内窥镜视觉和手动腹腔镜吻合术的基于 da Vinci SI 的 RAS。
增强自主性的系统设计图 1和影片 1显示了 STAR 的腹腔镜版本和提出的自主架构。该系统由一个 KUKA LBR Med 机器人和一个用于机器人缝合的电动 Endo 360 缝合工具 ( 37 ) 和第二个 KUKA LBR Med 机器人组成。携带内窥镜双摄像头系统，包括 NIR 摄像头和 3D 单色内窥镜 ( 38 )。摄像系统允许 STAR 自主跟踪生物相容性 NIR 标记（39) 在组织上并重建组织的 3D 表面（用于缝合规划）。NIR 标记提供了一种用于跟踪组织上所需标志的方法（例如，目标组织上缝合过程的起点和终点），该方法对手术期间的血液和薄组织闭塞具有鲁棒性（39）。所提出的方法还允许跟踪患者的呼吸运动，而不管动物体内的照明条件（例如，用于监测手术的白光）。在监督自主控制时，摄像机的 2D 视图也被用作操作员的视觉反馈（图 1A）。当 3D 单色内窥镜未在点云收集模式下运行（即，投射条纹以检测组织的 3D 形状）时，从 3D 单色内窥镜提供视图，这可能会使操作员感到困惑。由于机器人基于 3D 组织检测和任务规划方法以升高的 LoA 运行，因此使用开发的系统进行监督任务时，2D 视图就足够了。在本文后面（在“用于分割辅助地标检测的级联 U-Net”部分）中，我们通过该相机展示了强大的组织地标跟踪，这将消除未来工作中对 NIR 相机的需求。
[size=0.8][size=0.75]图 1。增强自主腹腔镜软组织手术。
( A ) STAR 系统的组成部分，包括医疗机械臂、驱动手术工具以及双通道 NIR 和 3D 结构光内窥镜成像系统。( B ) STAR 增强型自主控制策略的控制架构。

[size=0.875][size=1.125]在查看器中打开
[size=0.8]



电影 1。用于自主腹腔镜软组织吻合术的智能组织自主机器人 (STAR) 概述。
用于自主腹腔镜软组织吻合术的智能组织自主机器人 (STAR) 概述。


以下描述了本研究中使用的增强型自主 STAR 系统的一般工作流程（更多详细信息，请参阅材料和方法）。首先，操作员使用图 1B所示的图形用户界面 (GUI) 通过 STAR 启动计划序列. 组织跟踪算法（在“组织运动跟踪”部分进行了详细说明和测试）检测到患者何时暂时不呼吸（即，目标组织由于呼吸周期暂停而到达停止位置）。当组织静止时，STAR 生成了两个初始缝合计划，以连接放置在组织角落的相邻生物相容性 NIR 标记。然后对缝合计划进行过滤以排除噪音和 STAR 预测的工具-组织碰撞。丢弃不可用的缝合计划，并生成一组新的计划用于过滤和碰撞预测。一旦这组计划可用，操作员选择了一个缝合计划，该计划可以在整个样本上创建均匀的缝合间距，或者在组织的角落使用额外的缝合线形成均匀的缝合间距，以在困难的几何形状中实现无泄漏闭合。一旦操作员选择并批准了其中一个计划，STAR 通过将工具移动到第一个计划缝合线的位置来执行缝合线放置程序，将缝合线应用于组织，等待助手从现场清除松散的缝合线，然后拉紧缝合线。缝合程序完成后，STAR 重新成像手术区域以确定组织变形量。如果 STAR 检测到与当前手术计划相比组织位置的变化大于 3 mm，则通知操作员启动新的缝合计划和批准步骤。否则，STAR 建议重新使用最初的手术计划并继续进行下一个缝合程序。对手术计划中的每条缝合线都重复此过程。在计划的缝线未正确放置或缝线未延伸穿过两个组织层的情况下，操作员在 STAR 继续执行缝线计划之前通过 GUI 稍微调整位置重复最后一针。值得注意的是，虽然通过操作员的直接干预来纠正漏针，但大部分工作流程都是以自主方式完成的。这种策略可以在未来的工作中扩展，STAR 系统可以自主检测、调整和重复错过的缝合，从而实现完全自主的吻合程序。整体控制策略更详细的技术框图如图 1 所示。S1。
组织运动跟踪为了跟踪腹腔镜手术期间由于呼吸和其他组织运动引起的组织运动，我们开发了一种基于卷积神经网络 (CNN) 的机器学习算法 ( 40) 以及来自 NIR 相机的反馈。我们通过从腹腔镜猪小肠吻合手术收集的数据标记了总共 9294 个不同运动曲线的示例（4317 个用于呼吸示例，4977 个用于停止呼吸示例）。收集来自活体动物手术的标记数据，以在更复杂的运动跟踪设置中训练系统。我们的假设是，如果经过训练的系统在使用体内数据时表现良好，其中反射和障碍物会导致训练集中出现伪影，那么在受控的模型测试条件下，结果也会表现得一样好或更好（在本节后面进行检查）。CNN 的输入包括 NIR 标记在过去 2 秒内的位置历史以及标记从现在到 2 秒前的运动方向，图 2A )。CNN 包括四个卷积层、三个密集层和两个输出（用于移动/停止的组织标记）。卷积层和前三个密集层的激活函数是 Rectified Linear Unit (ReLU)，最后一个密集层的激活函数是 SoftMax（用于标记移动和非移动状态）。卷积层使用相同的填充和 25% 的 dropout。使用交叉熵损失函数来训练网络。该网络在训练阶段以 93.56% 的准确度预测运动曲线。结果用于同步机器人与组织的运动，并触发数据收集和计划正确的时间（例如，在呼吸周期的底部），以提高控制算法的准确性。
[size=0.8][size=0.75]图 2。组织运动跟踪。
( A ) 基于 CNN 的呼吸运动跟踪器（单位为像素）。( B ) 体内测试中近红外标记垂直运动的例子。( C ) 使用 20 毫米直径合成肠的模型条件的稳健性测试配置。( D ) 通过 OF、OA 和基于 CNN 的方法 (CNN) 对呼吸运动跟踪器的准确度测试结果。

[size=0.875][size=1.125]在查看器中打开
精度测试的结果以及与光流法的比较如图2D 所示。. 光流方法跟踪近红外图像中最后两帧的差异，应用低通滤波器，并使用阈值来检测呼吸运动何时结束（即图像流下降到某个阈值以下）。由于该方法对光强度和距离敏感，因此测试了两种变体：对于中距离和光强度具有固定阈值的变体，称为具有固定阈值 (OF) 的光流，以及每个测量距离具有可调节阈值的变体，称为光学具有可调阈值 (OA) 的流量。对于具有固定阈值的 OF 方法，目标组织放置在中间位置（此处为 6.5 厘米），并且针对给定的测试条件对决策阈值进行了实验微调，以在连续五个呼吸周期中实现最大正确检测数。然后将中程检测阈值用于近距离（此处为 3.5 厘米距离）和远距离（此处为 10 厘米距离）位置的目标。对于 OA，对每个测试位置/距离分别使用与中范围 OF 阈值调整类似的过程，以记录此方法的最佳可能运动检测结果。对于每个测试，我们评估了组织的呼吸/移动状态和非呼吸状态之间的转换（即，在 对每个测试位置/距离分别使用与中频阈值调整类似的过程，以记录此方法的最佳可能运动检测结果。对于每个测试，我们评估了组织的呼吸/移动状态和非呼吸状态之间的转换（即，在 对每个测试位置/距离分别使用与中频阈值调整类似的过程，以记录此方法的最佳可能运动检测结果。对于每个测试，我们评估了组织的呼吸/移动状态和非呼吸状态之间的转换（即，在图 2B中的T1和T2 ）在14 次呼吸/分钟的呼吸循环中被正确检测到。如果测试方法错误地标记了任何转换，则计算错误。使用合成结肠样本（ n = 165 每个条件）记录每个组合的 11 个标记方向（图 2C ）到目标组织的距离组合（3、6.5 和 10 cm）（图 2C）五个呼吸周期。图 2D所示的结果表明，由于神经网络的泛化能力，基于 CNN 的方法对不同条件下的测试更加稳健。CNN方法的测试准确率为91.52%，显着高于OF的75.76%（P= 0.0068) 和 OA 的准确率为 48.48% ( P < 0.0001)。当分析四种猪模型的体内吻合过程中获得的图像（n = 60 个代表性样本）时，CNN 的准确度保持不变（体模为 91.52%，体内为 90.00%），而 OA 方法的准确度从由于对测试条件下的变化缺乏鲁棒性，在模型测试中占 75.76%。
幻影端对端吻合使用幻影肠组织（由 3D Med）进行端到端吻合的实验。研究组包括通过 STAR（n = 5）、手动腹腔镜（LAP；n = 4）方法和基于达芬奇 SI 的 RAS 方法（RAS；n= 4)（参见图 S2 的测试台）。对于 STAR 测试，组织方向设置在 -20° 和 20° 之间，每个样本以 10° 为增量，而 LAP 和 RAS 组织方向随机选择在 -20° 和 20° 之间。对于所有研究组，测试组织都连接到一个线性平台，该平台被编程为以 14 次呼吸/分钟的频率和 3 毫米的幅度移动，以复制体内呼吸循环。对于 STAR 研究组，使用 NIR 标记跟踪算法触发机器人运动到计划的缝合点，并强制缝合发生在呼吸周期的休息阶段。根据我们之前在 ( 24 ) 中的结果选择了 3 mm 的目标缝合间距，其中考虑了组织厚度T、咬合深度H, 和缝合间距S用于无泄漏吻合[参见图 1G in ( 24)]。对于 LAP 和 RAS 研究组，外科医生被要求以与人类患者相同的间距和一致性进行缝合。为了模拟在体内手术期间发生的组织运动，在后壁缝合期间诱导组织的随机变形一次，在前壁缝合期间通过在所有研究组的不同方向上松开和拉紧保持缝合线来诱导组织的随机变形。LAP 和 RAS 数据来自乔治华盛顿大学医院（美国华盛顿特区）或国家儿童医院（美国华盛顿特区）的四位不同外科医生。外科医生的顺序是随机的，一半的参与者从 LAP 开始其次是RAS测试，反之亦然。
用于评估幻影组织测试条件结果的性能指标包括任务完成时间、每针缝合犹豫事件的数量、缝合间距和缝合位深度。记录和分析单独的 STAR、LAP 和 RAS 测试，以测量完成结（STAR、LAP 和 RAS）、完成缝合（STAR、LAP 和 RAS）、计划（STAR）和监督（STAR）的总时间. 缝合计划被定义为移动相机测量距离，计算并保存缝合计划，并返回到安全缝合距离。监督被定义为在犹豫事件后对机器人进行轻微的位置调整。每针缝合犹豫事件的数量被定义为 STAR 的针放置校正或当外科医生插入并立即从组织中收回针以进行 LAP 和 RAS 实验时。该指标测量了手术期间的附带组织损伤。此外，为每个样本收集缝合线间距（定义为任意两条连续缝合线之间的最短距离）和咬合深度（定义为从缝合线到组织边缘的垂直距离）（见图 S3A）。我们报告缝线间距和咬合深度的方差系数作为衡量每个指标一致性的指标，因为已知两者都会直接影响无泄漏吻合的质量。定义为任何两个连续缝合线之间的最短距离，咬合深度定义为从缝合线到组织边缘的垂直距离，为每个样本收集（见图S3A）。我们报告缝线间距和咬合深度的方差系数作为衡量每个指标一致性的指标，因为已知两者都会直接影响无泄漏吻合的质量。定义为任何两个连续缝合线之间的最短距离，咬合深度定义为从缝合线到组织边缘的垂直距离，为每个样本收集（见图S3A）。我们报告缝合线间距和咬合深度的方差系数作为衡量每个指标一致性的指标，因为已知两者都会直接影响无泄漏吻合的质量。36 )。体模测试的所有结果总结在图 3中。
[size=0.8][size=0.75]图 3。通过 LAP ( n = 4)、RAS ( n = 4) 和 STAR ( n = 5)的幻影端到端吻合的结果。
（一）每针缝合犹豫事件（每针额外缝合尝试）。( B ) 任务完成时间。( C ) 缝合间距。( D ) 通过方差系数 (COV) 确定缝合间距的一致性。( E ) 缝合线咬合深度。( F ) 通过 COV 的咬合深度的一致性。( G ) 通过 LAP、RAS 和 STAR 进行的模体端到端吻合测试的代表性示例，包括每个样本内的 3D 流场。(A)、(B)、(C) 和 (E) 中的误差线代表一个标准偏差。

[size=0.875][size=1.125]在查看器中打开
STAR 共完成 118 针（10 节，108 跑针，n= 5) 每针平均缝合犹豫为 0.17 ± 0.44。所有 STAR 样本中的缝合犹豫事件总数为 20，表明 STAR 在增强自主模式下的第一次尝试正确放置缝合线的时间为 83.05%。12 个犹豫事件发生在角缝期间，而其余 8 个犹豫事件发生在组织的后壁或前壁。观察到的犹豫事件是由于小的计划错误、工具定位错误、难以到达角缝和浅咬合深度。在这些情况中的每一种情况下，操作员都会中断缝合计划以纠正缝合工具的定位，然后重新启动增强自主模式。偏移调整的平均 3D 标准为 3.1 ± 1.39 mm，最大值为 6.0 mm。对于 LAP 方法，n = 4) 完成时，每针的平均犹豫为 1.03 ± 1.71，而 RAS 样本共有 139 针（14 节，125 针运行针，n = 4），每针的平均犹豫为 0.44 ± 0.97。如图3A 所示，STAR 的每针犹豫显着低于 LAP（P < 0.0001）和 RAS（P = 0.0177）。
完成端到端吻合任务的平均总时间如图3B所示。据观察，RAS 是完成任务的最快方法（31.96 ± 9.01 分钟），其次是 LAP（51.08 ± 32.72 分钟）和 STAR（55.41 ± 2.94 分钟）。尽管 STAR 与 LAP 的总任务时间相似（P = 0.8091），但 STAR 明显慢于 RAS（P= 0.0009)。总完成时间的差异主要是由于在 RAS 技术中不需要的随机组织变形和运动以及 STAR 系统中的随机组织变形和运动以及总体监督时间（批准计划和零星的轻微位置调整）导致的额外重新计划，占额外的 19.66每个样品的分钟数。此外，STAR 在保守的速度限制下操作，以最大限度地减少手术工具和腹腔镜端口之间的力相互作用，以保证运动曲线的平滑度和缝合线定位的准确性。平滑的运动轮廓具有额外的好处，即减少狭窄角落中的小计划错误会导致缝合工具损坏缝合线或天然组织的机会。
LAP、RAS 和 STAR 的平均缝合间距分别为 2.28 ± 1.04、1.58 ± 0.65 和 3.05 ± 0.8 mm（见图3C）。STAR 产生的缝合间距显着大于 LAP ( P < 0.0001) 和 RAS ( P < 0.0001)，但在统计学上与统一缝合计划建议的 3.0 mm 间距相似 ( P = 0.4163)。因为较小的缝合间距可以导致数据的较小方差，所以缝合一致性通过每个研究组的方差系数进行比较（即，SD 与平均值的比率转换为百分比）。基于图 3D的结果, LAP、RAS 和 STAR 的方差系数分别为 45.37、41.42 和 26.36%，这表明 STAR 与 LAP ( P < 0.0001) 和 RAS ( P < 0.0001) 相比具有更高的一致性。LAP、RAS 和 STAR 的平均咬合深度为 2.02 ± 1.10、1.69 ± 0.55 和 3.05 ± 0.91 mm（见图3E）。虽然 STAR 的平均咬合深度显着大于 LAP ( P < 0.0001) 和 RAS ( P < 0.0001)，但与均匀缝合方案编程的 3 mm 目标咬合深度相似（P= 0.4414）。与缝合间距一样，咬合深度的一致性可以通过将每个研究组的 SD 通过其平均值标准化来报告为变异系数。如图3F 所示，LAP、RAS 和 STAR 的变异系数分别为 54.41、32.57 和 29.99%，表明 STAR 的咬合深度比 LAP 更一致（P < 0.0001），与 RAS 相似（P = 0.2611）（有关更多详细信息，请参见表 S1）。
每个研究组的代表性吻合如图 3G所示. 顶行显示了后壁缝合，中间行显示了前壁缝合，第三行显示了通过最终吻合的流体的 3D 流场。为了获得由此产生的流场的图像，将每个研究组的样品连接到磁共振条件泵，并以 10 ml/s 的流速使用 60/40 甘油与水的混合物进行循环。使用 Siemens Aera 1.5T 磁共振成像扫描仪采集流场，该扫描仪编程为具有 1.25 mm×1.25 mm×1.3 mm 空间分辨率的 4D 流序列，样品放置在磁体的等中心。使用 iTFlow 1.9.40 版（Cardio Flow Design Inc.）进行后处理，包括流场线的分割和显示。为所有模型收集了 4D 流的单个阶段。
用于分割辅助地标检测的级联 U-net为了最大限度地降低相机系统的复杂性并消除对标记物的需求，这些标记物很难被批准用于临床翻译中的长期植入，我们进一步旨在用基于 CNN 的地标检测算法替换基于荧光标记物的成像. 整个数据处理包含一个 CNN 架构和一个后处理步骤，如图4A 所示。CNN 架构是从 U-Net 采用的，因为 U-Net 由于其多分辨率分析能力（40）在分割任务中表现出优异的性能，并且由于其完全连接的网络与完全连接的网络相比，它需要更少的训练数据。卷积性质（41）。两个 U-Net 级联用于分割辅助地标检测。第一个 U-Net 将每个单独的灰度肠道图像作为独立的输入，输出肠道组织的分割结果。它的主要架构与（ 40 ）中的架构基本相同，除了我们在所有池化层中使用相同的填充以避免图像裁剪并使用 sigmoid 激活而不是 soft-max 激活来获得最终分割结果。第二个 U-Net 将肠道图像和第一个 U-Net 的分割结果作为输入，并输出一个界标热图，因为界标热图回归比直接回归界标坐标具有更好的性能（42）。获得最终的地标坐标作为预测热图的最大响应。第二个 U-Net 架构与第一个 U-Net 基本相同，只是它的输入包含两个通道。因为级联的 U-Net 有两个输出，所以总损失函数是分割和具有相同权重的地标热图的二进制交叉熵的总和。在后处理步骤中，我们首先通过应用阈值对分割结果进行二值化。然后，我们从二值化分割中找到了最大的连通分量（CC）。最后，我们使用逐点方法将最大的 CC 与地标热图相乘，以消除在背景中检测到的任何随机地标。
[size=0.8][size=0.75]图 4。分割辅助地标检测。
( A ) 基于级联 U-net 的整体数据处理方案。( B ) 整个测试集的最终结果。蓝色显示肠道分割结果，粉色显示地标热图结果。

[size=0.875][size=1.125]在查看器中打开
为了评估算法的性能，我们使用我们的摄像系统录制了一段 45 秒的幻影肠组织视频，该视频具有不同的位置和方向。在记录过程中，我们将组织移动得足够快，以便捕获广泛的位置和方向以避免过度拟合。该视频的帧速率为 68 Hz，总共包含 3037 帧。我们每 0.9 秒从视频中取出 50 个图像帧。序号为奇数的 25 帧图像作为训练集，其余 25 帧序号为偶数的图像作为测试集。在这项工作的机器人吻合过程中，一旦组织被上演（例如，用于后壁或前壁缝合步骤），在完全完成吻合的相应步骤之前，它的位置和方向没有发生显着变化。此外，需要间歇性地执行 3D 组织和地标跟踪任务（即，在工具未阻塞组织时自动放置缝合线之前/之后，以及当目标组织由于呼吸周期暂停而达到停止位置时） . 因此，当前设置中没有出现主要的时间信息变化，因此开发的 CNN 适合这项任务。
我们使用二值化硬掩模作为分割基础事实手动分割肠道组织。类似地，我们使用二值化硬掩模手动分割肠道组织的四个角，并且我们使用每个角段的中心作为角地标坐标的地面实况（即，用于替换用于路径规划的 NIR 标记）。此外，我们用椭圆高斯概率拟合每个角硬掩码作为热图地面实况。训练后，将训练后的权重应用于训练集和测试集，然后进行后处理步骤。四个角的预测地标坐标作为四个局部最大热图响应获得。与ground truth相比，发现训练集的地标检测精度为2.3±1.0像素，对测试集的地标检测精度为 2.6 ± 2.1 像素。由于四个肠角的形状和大小不同，我们将最大允许误差定义为所有角的有效半径的统计平均值，发现为 11.3 ± 4.8 像素。此外，在 25 个测试帧中，有 3 个帧除了正确的四个角外，还错误地检测到了背景中的额外地标。通过分割辅助地标检测后处理步骤，这些额外的地标被有效去除。最终的分割和热图结果被裁剪并与肠道图像组合成彩色图像，如图所示 我们将最大允许误差定义为所有角的有效半径的统计平均值，发现为 11.3 ± 4.8 像素。此外，在 25 个测试帧中，有 3 个帧除了正确的四个角外，还错误地检测到了背景中的额外地标。通过分割辅助地标检测后处理步骤，这些额外的地标被有效去除。最终的分割和热图结果被裁剪并与肠道图像组合成彩色图像，如图所示 我们将最大允许误差定义为所有角的有效半径的统计平均值，发现为 11.3 ± 4.8 像素。此外，在 25 个测试帧中，有 3 个帧除了正确的四个角外，还错误地检测到了背景中的额外地标。通过分割辅助地标检测后处理步骤，这些额外的地标被有效去除。最终的分割和热图结果被裁剪并与肠道图像组合成彩色图像，如图所示 通过分割辅助地标检测后处理步骤，这些额外的地标被有效去除。最终的分割和热图结果被裁剪并与肠道图像组合成彩色图像，如图所示 通过分割辅助地标检测后处理步骤，这些额外的地标被有效去除。最终的分割和热图结果被裁剪并与肠道图像组合成彩色图像，如图所示图4B。从这些结果中，我们得出结论，级联 U-Net 正确分割了肠道组织并生成了肠道界标热图。此外，通过分割辅助的地标检测后处理，有效地去除了背景中的噪声。
体内端对端吻合最后，使用 STAR 对猪小肠进行体内腹腔镜自主手术（n = 4 只独立动物）。手术后，对动物进行为期 1 周的生存期监测，并进行有限的尸检，以比较愈合的吻合口与腹腔镜对照（n = 1）（表 1）。对于这些测试，STAR 使用了与模型测试中描述的相同的缝合算法。为了保证程序的安全性并遵守动物护理协议，我们通过增加操作员需要监控和干预的任务数量来增加安全措施（体模组织测试已经允许更高的风险容忍度来测试系统功能）。这包括额外数量的人工干预，用于初始机器人位置微调（在第一次缝合之前）和批准发射针。我们还减少了计划选项和重新计划步骤的数量，并实施了更保守的速度限制，以进一步防止附带组织损伤。
[size=0.8][td]

猪号	手术体重 （公斤）	牺牲时重量 （公斤）	泄漏压力 (psi)	流明 通畅率 (%)	完成 时间（分钟）	缝合线数	缝合 犹豫
明星 1	32.7	36.4	0.23	85	59.71	24	4
明星 2	35.4	37.3	0.12	85	55.64	17	7
明星 3	35.3	33.5	1.2		90	65.73	24	11
星 4	35.5	33.8	1.2		95	67.03	21	7
5（控制）	30	32	1.2		90	25.6	21	9

[size=0.75]展开了解更多
[size=0.75]表 1。体内端对端吻合。
使用 STAR ( n = 4) 和手动腹腔镜控制 ( n = 1)在猪中进行肠吻合术。

[size=0.875][size=1.125]在查看器中打开
用于评估体内实验测试条件结果的性能指标包括任务完成时间、每针缝合犹豫事件的数量、管腔通畅性、泄漏压力以及伤口愈合和炎症变化的质量。手术后1周生存期完成后，进行了有限的尸检。吻合口的大体检查确定了与对照动物一致的瘢痕组织和粘连。此外，手术期间使用的残留 NIR 标记必须被封装并保留在吻合口之外。小肠的一部分被切除并进行泄漏和管腔通畅测试。管腔通畅度定义为可以通过吻合口的最大直径量规针。泄漏压力定义为吻合口在破裂前达到的最大内部压力。泄漏压力测试被限制在最大 1.2 psi 以保存样本用于组织学测试（见图 5）。
[size=0.8][size=0.75]图 5。体内实验的结果。
( A ) 使用 STAR ( n = 4) 和手动腹腔镜控制试验 ( n = 1)进行的每个吻合组织的代表性组织学示例。每个吻合口的大致位置用箭头表示。每个吻合口附近的正方形代表放大图像的位置。( B ) PMN 细胞作为每个样本炎症的替代指标。( C ) 在尸检时收集的吻合口的代表性例子，用于 STAR 和对照测试。

[size=0.875][size=1.125]在查看器中打开
在这项研究中，STAR 实现了 0.69 ± 0.59 psi 的泄漏压力和 88.75 ± 4.79% 的流明通畅率，这与我们之前在开放手术中的结果一致 ( 24 )。STAR 的平均任务完成时间为 62.03 ± 5.32 分钟，而对照组为 25.6 分钟。与幻影测试类似，STAR 完成任务的速度较慢，这主要是由于额外的计划（三个计划平均 8.5 分钟）、安全工具旋转（1.13 分钟）和任务监督（10.2 分钟）。此外，STAR 在保守的速度限制下操作，以最大限度地减少腹腔镜端口处的相互作用力，并减少缝合工具、保持缝合线和非目标组织之间因呼吸运动而发生碰撞的机会，从而进一步增加了总时间。第 7 天进行组织学检查（图 5A ) 说明在黏膜边缘的连续性、血肿等组织损伤程度和多形有核 (PMN) 细胞浸润的相似计数方面观察到的伤口愈合和炎症变化没有明显差异 ( P = 0.4543;图. 5B ) 在 STAR 和控制之间。
在所有四项体内测试中，STAR 总共完成了 86 针（8 节，78 针运行）。需要手动调整的缝线总数为 29 条（66.28% 在第一次尝试中正确放置缝线），这对应于每针平均 0.34 缝线犹豫。这些尝试包括沿后壁和前壁的 14 处角缝和 15 处缝线。与体模测试相比，通过 GUI 手动调整偏移量需要更高的平均尝试次数（体内额外尝试 0.34 次，而体模则为 0.17 次）。在体内实验中观察到的额外尝试的其他来源包括影响最佳腹腔镜端口放置和组织可达性的动物体型变化、动物柔韧皮肤上的留缝线引起的额外组织运动、由于机器人工具的运动和凝胶端口的密封不完善导致零星的充气泄漏，水肿导致组织不适合下颌，根据动物的不同组织分期更硬，以及工具在套管针的作用下弯曲。三个维度上偏移调整的平均标准为 3.85 ± 1.88 mm，最大值为 8.15 mm。对于控制测试条件，总共完成了 21 针（4 个结和 17 个运行针）。针重新定位的总数为 9（57.14% 在第一次尝试中正确放置针），这对应于每针平均 0.43 缝合犹豫。这些针重新定位调整包括四个角针和前后壁上的五个针。水肿导致组织不适合下颌，根据动物的不同进行更硬的组织分期，以及工具在套针的作用下弯曲。三个维度上偏移调整的平均标准为 3.85 ± 1.88 mm，最大值为 8.15 mm。对于控制测试条件，总共完成了 21 针（4 个结和 17 个运行针）。针重新定位的总数为 9（57.14% 在第一次尝试中正确放置针），这对应于每针平均 0.43 缝合犹豫。这些针重新定位调整包括四个角针和前后壁上的五个针。水肿导致组织不适合下颌，根据动物的不同进行更硬的组织分期，以及工具在套针的作用下弯曲。三个维度上偏移调整的平均标准为 3.85 ± 1.88 mm，最大值为 8.15 mm。对于控制测试条件，总共完成了 21 针（4 个结和 17 个运行针）。针重新定位的总数为 9（57.14% 在第一次尝试中正确放置针），这对应于每针平均 0.43 缝合犹豫。这些针重新定位调整包括四个角针和前后壁上的五个针。88 毫米，最大值为 8.15 毫米。对于控制测试条件，总共完成了 21 针（4 个结和 17 个运行针）。针重新定位的总数为 9（57.14% 在第一次尝试中正确放置针），这对应于每针平均 0.43 缝合犹豫。这些针重新定位调整包括四个角针和前后壁上的五个针。88 毫米，最大值为 8.15 毫米。对于控制测试条件，总共完成了 21 针（4 个结和 17 个运行针）。针重新定位的总数为 9（57.14% 在第一次尝试中正确放置针），这对应于每针平均 0.43 缝合犹豫。这些针重新定位调整包括四个角针和前后壁上的五个针。
讨论在这里，我们展示了在运动和视觉约束下的非结构化和可变形环境中的腹腔镜自主软组织肠道手术。开发并测试了先进的成像系统、机器视觉和机器学习技术以及实时控制策略，以跟踪组织位置和变形，执行复杂的手术计划，与人类用户互动，并自适应地执行手术计划。在机器人腹腔镜吻合实验中，所开发的系统在指标上优于使用 LAP 和 RAS 手术技术的外科医生，包括缝合间距和咬合深度的一致性以及缝合犹豫事件的数量，这些直接影响无泄漏末端的质量。端吻合。STAR系统封装了自主控制功能并减少了人类操作员的参与，机器人对组织变形和各种测试条件变化做出反应。尽管在复杂和不可预测的手术场景中无法消除人工监督的作用，但通过 LoA 推进可以减少基于个体的经验和性能差异，并提高安全性、获得标准手术技术和手术结果的一致性。我们还展示了体内机器人腹腔镜吻合术，其中涉及在访问和可见性受限的高度动态和多变的环境中克服几个挑战，包括软组织跟踪、手术计划和执行。
尽管取得了这些成就，但目前的方法和结果仍存在一些局限性。目前，机器人控制算法的成功实施取决于组织在某个工作区域的可达性和正确分期。鉴于相机系统和机器人运动架构的限制，这不允许任何任意组织分期。此外，一旦启用了额外的分期功能，本文中讨论的组织标志检测方法将需要包括诸如长短期记忆（43) 以处理由组织中的快速位置和方向变化引起的时间信息的显着变化。这项研究的另一个限制是，STAR 机器人、手动腹腔镜手术和遥控达芬奇手术的比较是在幻影组织上进行的。体内研究不可能使用基于达芬奇的测试臂，因为该特定系统仅允许在儿童国家医院（美国华盛顿特区）的人类患者中使用。此外，由于限制体内实验数量的伦理原因，以及由于每次手术过程中独特发生的动态因素（例如尺寸变化、端口位置、组织可达性、零星充气泄漏、组织运动和水肿），我们将体内比较限制在一次手动腹腔镜手术中，而是在幻影组织中进行了广泛、更可控的比较研究。然而，考虑到所有这些因素，我们能够在体内实验中确认实施 STAR 增强自主策略的整体可行性。
在当前版本的系统中，腹腔镜双摄像头系统的占地面积为 3 厘米，需要使用凝胶端口来插入摄像头。这也将增加凝胶端口阻塞机器人缝合工具或在工具控制点处引起额外压力和轻微定位错误的机会。在我们未来的工作中，我们将集成和测试无标记组织跟踪技术，以将相机系统简化为内窥镜，从而提供定量 3D 可视化，其占用空间比本研究中使用的更小。此外，我们将为精确的点云采集提供更大的距离，这样相机系统就不需要在成像和缝合位置之间来回运动，以减少缝合时间。还值得一提的是，由于在机器人工具的腹腔镜端口处引入了额外的力和扭矩，因此无法观察到工具尖端的力测量值。更具体地说，机器人的六轴力/扭矩传感器安装在机器人法兰上，它测量工具重力（基于工具几何和质量的三个估计力）、腹腔镜端口处的相互作用（两个未知力）的组合。力和两个未知扭矩，假设沿端口的轴向力和扭矩可忽略不计），以及在组织缝合过程中工具尖端的张力和接触力（三个未知力，即总共至少七个未知数和六个测量值）。在以后的作品中，我们计划在工具尖端附近安装一个触觉或接近传感器，以解耦相互作用力并在局部测量组织接触和缝合张力。此外，我们计划在工具尖端添加一个传感器，以在发射针之前检测两层目标组织是否在机器人工具钳口内。这将有助于消除操作员的一项监控任务，并确保机器人不会错过组织上的任何缝线，这将是实现完全自主系统的关键步骤。我们预计，这些变化的协同作用将通过更高（但安全）的机器人速度限制、减少测量和（重新）规划时间以及减少缝合犹豫事件的数量，从而显着加快任务完成时间。我们计划在工具尖端添加一个传感器，以在发射针之前检测目标组织的两层是否在机器人工具钳口内。这将有助于消除操作员的一项监控任务，并确保机器人不会错过组织上的任何缝线，这将是实现完全自主系统的关键步骤。我们预计，这些变化的协同作用将通过更高（但安全）的机器人速度限制、减少测量和（重新）规划时间以及减少缝合犹豫事件的数量，从而显着加快任务完成时间。我们计划在工具尖端添加一个传感器，以在发射针之前检测目标组织的两层是否在机器人工具钳口内。这将有助于消除操作员的一项监控任务，并确保机器人不会错过组织上的任何缝线，这将是实现完全自主系统的关键步骤。我们预计，这些变化的协同作用将通过更高（但安全）的机器人速度限制、减少测量和（重新）规划时间以及减少缝合犹豫事件的数量，从而显着加快任务完成时间。这将有助于消除操作员的一项监控任务，并确保机器人不会错过组织上的任何缝线，这将是实现完全自主系统的关键步骤。我们预计，这些变化的协同作用将通过更高（但安全）的机器人速度限制、减少测量和（重新）规划时间以及减少缝合犹豫事件的数量，从而显着加快任务完成时间。这将有助于消除操作员的一项监控任务，并确保机器人不会错过组织上的任何缝线，这将是实现完全自主系统的关键步骤。我们预计，这些变化的协同作用将通过更高（但安全）的机器人速度限制、减少测量和（重新）规划时间以及减少缝合犹豫事件的数量，从而显着加快任务完成时间。
材料和方法成像系统通过 STAR 为体内动物研究构建了一个定制的腹腔镜成像系统（如图1A所示）。投影仪和单色相机用于重建样本的 3D 点云。NIR 光源和 NIR 相机用于荧光标记成像。通过非重叠成像光谱窗口同时启用两个相机。此外，必要时还添加了白光源监测动物体内的环境。NIR 和 3D 摄像头使机器人能够重建组织的 3D 模型并规划机器人缝合线规划。成像系统的详细规格在补充方法中提供。
机器人平台该平台由一个 KUKA LBR Med 轻型机器人组成，该机器人配备了一个带俯仰控制的电动商用 Endo 360 缝合工具。相机系统允许测量距组织 5 到 8 厘米距离的组织几何形状。该系统能够通过线性平台对摄像系统进行动态位置控制，用于在STAR执行缝合计划时防止摄像系统与缝合工具发生碰撞。在实践中，相机放置在距离目标组织 5 到 8 厘米处，用于收集 3D 点云，而缝合工具从视野中缩回以防止遮挡和与手术区域发生碰撞（成像配置），
高层控制策略整体控制策略的详细视图如图 1 所示。S1，它突出了低级机器人运动控制与高级控制块（如缝合规划器、操作员和缝合逻辑）的交互。整体控制策略基于反馈控制回路，其组件包括内部反馈机制。在该图中，变量的一阶和二阶时间导数用符号表示， 分别。在这个控制循环中，来自 3D 内窥镜和 NIR 相机的实时视频帧被收集并通过在 ( 39 ) 中开发的光线追踪技术进行处理，以跟踪组织的 3D 运动（表示为x t ∈ R 6用于平移和方向）。组织运动跟踪算法（在结果中进行了详细说明和测试）通过摄像机 NIR 视图中的 NIR 荧光标记跟踪目标组织的位置，并在组织静止时自动检测到。此时，运动跟踪器触发成像系统根据静止场景的图像重建手术区域，以产生组织位置估计。在我们之前的工作中开发的路径规划算法 ( 44 , 45 ) 在组织的 3D 点云上生成多个缝合计划选项，用户可以从 GUI 中选择这些选项。这由x p1 ∈ R 3 n和x p2 ∈ R 3 m表示，表示计划 1（n点）和计划 2（m点），分别。该方法还将机器人工具投影在每个计划的缝合点上，预测工具与组织碰撞的机会，并在原始图像有噪声的情况下自主生成新的缝合计划。一旦 STAR 生成由操作员选择的可用缝合计划（即，从两个可用选项中批准的计划x pa），参考航路点和实时机器人位置 ( x ∈ R 6 ) 将用于高级缝合通过 ( 46 ) 中开发的方法进行逻辑和任务计划）。该规划器生成了结和运行针迹索引的策略，并生成了运动原语（例如接近组织的目标位置和方向、咬合/发射缝合线、等待助手以及简要表示为x s ∈ R 6的张力）。然后将这些逐步目标位置发送到低级控制块，以确保根据以下详细信息遵循所需的位置和方向。
低级控制运动原语x s被发送到轨迹生成器，以通过 Reflexxes 运动库 ( 47 ) 在任务空间中获得基于时间的平滑期望轨迹（此处显示为x d ∈ R 6）。开放式机器人控制软件 (OROCOS) 的运动学和动力学库将机器人的任务空间轨迹转换为关节空间轨迹 ( 48 ) (记为q d ∈ R 9因为它包括 KUKA 机器人的 7 个 DoF，此外还有 1 个用于工具俯仰角的 DoF 和 1 个用于承载相机系统的线性平台的 DoF）。在腹腔镜工具端口处的运动学求解器（即，分别为正向和反向运动学函数f和f -1 ）中也实施了 RCM 约束。最后，通过 IIWA 堆栈 ( 49 )、OROCOS 实时工具包 ( 50 ) 和快速研究接口 ( 51 )中的 KUKA 机器人控制器启用闭环控制器)（此处显示为“机器人驱动程序”）保证了机器人和安装的缝合工具和线性平台的关节空间轨迹控制。这些驱动程序遵循标准的闭环控制策略，例如在 ( 52 ) 中，基于机器人动力学（即惯性H、科里奥利和粘性阻尼效应c以及外部干扰f ext）来产生关节扭矩输入τ ∈ R 9（通过机器人电机实现）以遵循所需的轨迹。
缝合计划缝合线规划和组织变形跟踪逻辑如图 1 所示。S4。该方法允许与操作员交互以批准缝合计划或启动（重新）计划步骤。工作流程如下。呼吸运动跟踪器以测量模式/距离跟踪组织x t的运动。当操作员发出计划更新命令时，运动跟踪器通过一系列 NIR 图像帧检测到呼吸运动的结束，并触发目标组织的 3D 点云采集. 在组织不移动时收集点云对于消除边缘投影过程中由组织运动引起的模糊和噪声数据至关重要。点云上的投影 NIR 标记位置（通过光线跟踪）用于确定缝合路径的起点和终点。对于后壁缝合，通过斑点跟踪技术自动检测 NIR 标记顺序，从而首先识别顶部标记，然后是左侧标记，然后是右侧标记。对于前墙，顺序是左标记，然后是右标记。然后，缝合路径规划方法按上述顺序规划 NIR 标记之间的缝合点，间距为 3 毫米，并可选用额外的拐角针迹，以防止拐角处泄漏。对于每个计划的缝合点 (x p1和x p2），系统通过将具有固定边界框的缝合工具的几何形状投影到来自相机的点云数据上，自主检测缝合工具与目标组织的潜在碰撞。如果预计与工具碰撞的点数与预计正确安装在工具钳口内的点数之间的比率超过 80% 的阈值，则系统会警告操作员缝合线错位或工具碰撞是可能的，并且操作员可以选择生成新的缝合计划。
组织变形和运动跟踪一旦操作员x pa选择了缝合计划，机器人就会保存该计划并自动切换到缝合模式。在下一个呼吸周期结束时，记录了 NIR 视图的第一个快照.缝合过程开始。STAR 完成缝合线后，系统会一直等到下一个呼吸周期结束，然后摄像头系统通过 NIR 摄像头捕获新图像，STAR 建议操作员应生成新的缝合计划。在这种情况下建议使用新的缝合方案，因为大于 3 mm 的组织变形超过工具钳口的一半以上，如果使用以前的方案会导致缝合线定位错误。如果检测到的图像之间的运动小于 3 mm，则向操作员显示一条消息，指示之前的计划仍然可用，操作员可以继续使用现有计划（即x pa k + 1 = x pa）。最后，机器人的运动与呼吸运动同步，使得缝合工具在呼吸循环的静止点到达目标组织。同步是通过基于当前t、到目标的距离d、平均机器人速度v和呼吸周期持续时间T计算触发来实现的。对于机器人在第n个呼吸周期到达目标，触发时间可根据下式计算。当机器人在呼吸循环结束时到达目标缝合点时，目标组织被封闭在工具钳口内，并在下一个呼吸循环结束时发出射针命令。在呼吸周期结束时，组织保持静止 1.143 秒。针发射机构需要 0.5 秒将针插入组织，这比 1.143 秒的静止期要短得多。
手术方法所有动物测试均遵守美国国立卫生研究院 (NIH) 的动物使用和护理指南，并在美国华盛顿特区国家儿童医院的机构动物护理和使用委员会批准（协议 30759）下进行。麻醉动物仰卧，腹部/手术部位用酒精准备好，然后用洗必泰擦洗和无菌布巾。在腹部，横向放置四个套管针（Ethicon，Somerville，NJ），并在中间插入一个凝胶端口（Applied Medical，Rancho Santa Margarita，CA）（例如，如图S3B所示）。套管针为 STAR 的缝合工具和助手的抓握器提供了进入腹膜空间的无菌通道，而凝胶端口为腹腔镜相机提供了无菌入口。STAR 的缝合工具和成像系统使用 MetriCide 28 (Metrex, Orange, CA) 进行了消毒。使用吹气和腹腔镜技术，外科医生识别并横切了一个小肠环。肠的两个开口端被重新接近并用经腹缝合线悬挂（例如，如图S3C所示）。可以通过 STAR 的腹腔镜相机观察到的 NIR 标记（吲哚菁绿和 Permabond）被放置在组织的角落，并进行了机器人缝合。吻合完成后，以多层方式关闭腹壁。整个过程时间约为 4 小时。有关术前设置和术后护理，请参阅补充材料和方法。外科医生识别并横切了一个小肠环。肠的两个开口端被重新接近并用经腹缝合线悬挂（例如，如图S3C所示）。可以通过 STAR 的腹腔镜相机观察到的 NIR 标记（吲哚菁绿和 Permabond）被放置在组织的角落，并进行了机器人缝合。吻合完成后，以多层方式关闭腹壁。整个过程时间约为 4 小时。有关术前设置和术后护理，请参阅补充材料和方法。外科医生识别并横切了一个小肠环。肠的两个开口端被重新接近并用经腹缝合线悬挂（例如，如图S3C所示）。可以通过 STAR 的腹腔镜相机观察到的 NIR 标记（吲哚菁绿和 Permabond）被放置在组织的角落，并进行了机器人缝合。吻合完成后，以多层方式关闭腹壁。整个过程时间约为 4 小时。有关术前设置和术后护理，请参阅补充材料和方法。可以通过 STAR 的腹腔镜相机观察到的 NIR 标记（吲哚菁绿和 Permabond）被放置在组织的角落，并进行了机器人缝合。吻合完成后，以多层方式关闭腹壁。整个过程时间约为 4 小时。有关术前设置和术后护理，请参阅补充材料和方法。可以通过 STAR 的腹腔镜相机观察到的 NIR 标记（吲哚菁绿和 Permabond）被放置在组织的角落，并进行了机器人缝合。吻合完成后，以多层方式关闭腹壁。整个过程时间约为 4 小时。有关术前设置和术后护理，请参阅补充材料和方法。
统计分析GraphPad Prism 7.04 统计软件用于本研究中的所有分析。对每种方式的缝合线间距和咬合深度进行 D'Agostino 和 Pearson 正态性检验，然后使用非参数 Mann-Whitney 比较检验进行比较。Mann-Whitney 测试还用于比较 STAR 和手术方式之间的每针犹豫和每针时间。Levene 的方差检验是对总缝合时间进行的，然后是 Welch 的t检验，假设方差不相等，以比较 STAR 和 LAP 总缝合时间和未配对的t假设方差相等的测试来比较 STAR 和 RAS 总缝合时间。为所有比较测试选择单一比较，因为我们的假设仅考虑 STAR 与每种手术技术之间的关系。每种测试方式的缝合线间距和咬合深度的变化使用样本均值进行归一化，并报告为变异系数，统计差异如 ( 53 ) 所示。Kruskal-Wallis 检验进行方差分析，然后进行了 Dunnett 的多重比较检验，以获取幻影运动跟踪准确性，并进行 Mann-Whitney 比较测试以获取体内跟踪准确性。未配对t检验用于比较 PMN 细胞计数。磷报告了所有比较测试的值，P < 0.05 被认为具有统计学意义。



查看全文下载 PDF