Ratto, Carlo

BACKGROUND: The Ventral Rectopexy International Expert Panel recently published a consensus update on ventral rectopexy. The ability of large language models to synthesize the literature on ventral rectopexy without an explicit knowledge base was studied before the publication of the consensus. OBJECTIVE: To compare the responses and citations of different large language models on ventral rectopexy using the expert panel consensus as the reference standard. DESIGN: ChatGPT-4o, Gemini 1.5 Pro, and OpenEvidence were compared on content appropriateness (1 = inappropriate to 5 = appropriate), readability (Flesch reading ease), response length, citation fabrication, and citation quality per Oxford Levels of Evidence. The most content-appropriate chatbot response selected by the expert panel was de-identified and presented alongside the consensus text to 15 colorectal surgeons who attempted to identify the chatbot-generated text. SETTINGS: Questions were submitted from September 18 to 19, 2024. Analysis was performed before the online publication of the consensus on January 30, 2025. MAIN OUTCOME MEASURES: The main outcome measures included content appropriateness, fabricated citation rate, citation quality, and the accuracy of identifying human versus chatbot text by colorectal surgeons. RESULTS: OpenEvidence ranked highest for content appropriateness (mean 3.5/5), above Gemini (3.0/5) and ChatGPT (2.8/5; p < 0.001). ChatGPT was most verbose with the highest readability scores ( p = 0.021). ChatGPT fabricated 53% of citations; Gemini fabricated 12%; OpenEvidence fabricated 0% ( p < 0.001). All OpenEvidence citations were peer reviewed, with 40 of 117 (34%) citing level I to III studies compared with 46 of 94 (49%) of the references cited in the consensus ( p = 0.043). Chatbot-generated responses were identified with 28 of 51 (55%) accuracy. LIMITATIONS: Reproducibility may be affected due to the nature of large language models and the availability of the consensus after publication. CONCLUSIONS: OpenEvidence outperformed Gemini 1.5 Pro and ChatGPT-4o in content appropriateness and peer-reviewed citation quantity and quality. Chatbot-generated text was indistinguishable from expert-authored consensus to subject matter experts. Large language models, as an early-stage research tool, may be viable for future consensus working groups, provided transparent disclosure and rigorous oversight. See Video Abstract . ¿PUEDEN LOS MODELOS LINGÜÍSTICOS DE GRAN TAMAÑO SER UNA HERRAMIENTA VIABLE PARA LOS GRUPOS DE TRABAJO DE CONSENSO? LA EXPERIENCIA DEL GRUPO DE CONSENSO DE EXPERTOS EN RECTOPEXIA VENTRAL ANTECEDENTES: El Panel Internacional de Expertos en Rectopexia Ventral publicó recientemente una actualización consensuada sobre la rectopexia ventral. Antes de la publicación del consenso, se estudió la capacidad de los grandes modelos lingüísticos para sintetizar la bibliografía sobre la rectopexia ventral sin una base de conocimientos explícita. Objetivo: Comparar las respuestas y citas de diferentes grandes modelos lingüísticos sobre la rectopexia ventral utilizando el consenso del panel de expertos como estándar de referencia. DISEÑO: Se compararon ChatGPT-4o, Gemini 1.5 Pro y OpenEvidence en cuanto a la idoneidad del contenido (1 = inadecuado a 5 = adecuado), la legibilidad (índice de legibilidad de Flesch), la longitud de la respuesta, la fabricación de citas y la calidad de las citas según los niveles de evidencia de Oxford. La respuesta del chatbot más adecuada en cuanto al contenido seleccionada por el panel de expertos se anonimizó y se presentó junto con el texto del consenso a 15 cirujanos colorrectales que intentaron identificar el texto generado por el chatbot. ENTORNO: Las preguntas se enviaron los días 18 y 19 de septiembre de 2024. El análisis se realizó antes de la publicación del consenso en línea el 30 de enero de 2025. PRINCIPALES MEDIDAS DE RESULTADOS: Adecuación del contenido, tasa de citas inventadas, calidad de las citas, precisión en la identificación del texto humano frente al del chatbot por parte de los cirujanos colorrectales. RESULTADOS: OpenEvidence obtuvo la puntuación más alta en cuanto a la adecuación del contenido (media de 3,5/5), por encima de Gemini (3,0/5) y ChatGPT (2,8/5) (p<0,001). ChatGPT fue el más prolijo, con las puntuaciones más altas en legibilidad (p = 0,021). ChatGPT inventó el 53% de las citas; Gemini inventó el 12 %; OpenEvidence inventó el 0 % (p < 0,001). Todas las citas de OpenEvidence fueron revisadas por pares, con 40/117 (34 %) que citaban estudios de nivel I-III frente a 46/94 (49 %) de las referencias citadas en el consenso (p = 0,043). Las respuestas generadas por el chatbot se identificaron con una precisión del 28/51 (55 %). LIMITACIONES: Reproducibilidad debido a la naturaleza de los modelos de lenguaje grandes y a la disponibilidad del consenso tras la publicación. CONCLUSIONES: OpenEvidence superó a Gemini 1.5 Pro y ChatGPT-4o en cuanto a la idoneidad del contenido y la cantidad y calidad de las citas revisadas por pares. El texto generado por el chatbot era indistinguible del consenso redactado por expertos para los expertos en la materia. Los modelos de lenguaje grandes como herramienta de investigación en fase inicial pueden ser viables para futuros grupos de trabajo de consenso, siempre que se garantice una divulgación transparente y una supervisión rigurosa. ( AI-generated translation )

BACKGROUND: Ventral rectopexy has become increasingly used in the surgical management of rectal prolapse. There is a need for a contemporary evaluation of the role of the procedure and a description of its use in clinical practice. OBJECTIVE: To create an international consensus on ventral rectopexy. DESIGN: An expert panel undertook a scoping review of the literature to identify subject domains of interest. Literature reviews were completed for each domain with subsequent development of evidence-based and practice-based statements. These statements were compiled and reviewed by the group over a total of 9 meetings. Once statements were confirmed, supportive text was finalized, and an anonymous vote was completed using Research Electronic Data Capture to record consensus. SETTING: An international expert panel comprising colorectal surgeons who perform ventral rectopexy in a high-volume center. MAIN OUTCOME MEASURES: Statements and associated expert consensus. RESULTS: Eleven experts identified 10 domains for review: indications, contraindications, assessment and planning, consent, operative details, prostheses, complications, follow-up, recurrence and reoperative surgery, and specific considerations. After round table review, there were 17 resultant statements for consideration. Experts agreed unanimously with 13 of the statements and their accompanying text, with different experts disagreeing regarding the remaining 4 statements (91% consensus each). LIMITATIONS: Paucity of high-quality data. CONCLUSIONS: This international group developed 17 statements with high consensus. These statements provide an up-to-date summary of the literature, identify key areas for research development, and provide a reference point for colon and rectal surgeons who undertake ventral rectopexy as part of their practice. See Video Abstract . RECTOPEXIA VENTRAL: CONSENSO DE UN PANEL INTERNACIONAL DE EXPERTOS Y REVISIÓN DE LA LITERATURA CONTEMPORÁNEA ANTECEDENTES: La rectopexia ventral se ha utilizado cada vez más en el tratamiento quirúrgico del prolapso rectal. Es necesario realizar una evaluación contemporánea del rol del procedimiento y una descripción de su uso en la práctica clínica. OBJETIVO: Crear un consenso internacional sobre la rectopexia ventral. DISEÑO: Un panel de expertos realizó una revisión exhaustiva de la literatura para identificar los dominios temáticos de interés. Se completaron revisiones de la literatura para cada dominio con el desarrollo de declaraciones basadas en la evidencia y la práctica. Estas fueron compiladas y revisadas por el grupo a lo largo de un total de nueve reuniones. Una vez que se confirmaron las declaraciones, se finalizó el texto de apoyo y se completó una votación anónima utilizando REDCap para registrar el consenso. ESCENARIO: Un panel internacional de expertos compuesto por cirujanos colorrectales que realizan rectopexia ventral en un centro de alto volumen. PRINCIPALES MEDIDAS DE RESULTADOS: Declaraciones y consenso de expertos asociado. RESULTADOS: Once expertos identificaron diez dominios a revisar: indicaciones, contraindicaciones, evaluación y planificación, consentimiento, detalles operatorios, prótesis, complicaciones, seguimiento, recurrencia y cirugía reoperatoria y consideraciones específicas. Después de la revisión en mesa redonda, hubo 17 declaraciones resultantes para su consideración. Los expertos estuvieron de acuerdo unánimemente con trece de las declaraciones y su texto acompañante, y diferentes expertos estuvieron en desacuerdo con cuatro declaraciones (91% de consenso cada una). LIMITACIONES: Escasez de datos de alta calidad. CONCLUSIÓN: Este grupo internacional desarrolló 17 declaraciones con alto consenso. Estas declaraciones proporcionan un resumen actualizado de la literatura, identifican áreas claves para el desarrollo de la investigación y un punto de referencia para los cirujanos de colon y recto que realizan rectopexia ventral como parte de su práctica. (Traducción—Dr. Aurian Garcia Gonzalez )

BACKGROUND: Narrative operative reports may omit or obscure data from an operation. OBJECTIVE: To develop a synoptic operative report for rectal prolapse that includes core descriptors as developed by an international consensus of expert pelvic floor surgeons. DESIGN: Descriptors for patients undergoing rectal prolapse surgery were generated through review. Members of the Pelvic Floor Disorders Consortium were recruited to participate in a 3-round Delphi process using a 9-point Likert scale. Descriptors that achieved 70% agreement were kept from the first round, and descriptors scoring 40% to 70% agreement were recirculated in subsequent rounds. A final list of operative descriptors was determined at a consensus meeting, with a final consensus meeting more than 70% agreement. SETTINGS: This survey was administered to members of the Pelvic Floor Disorders Consortium. PATIENTS: No patient data are included in this study. MAIN OUTCOME MEASURES: Descriptors meeting greater than 70% agreement were selected. RESULTS: One hundred seventy-six surgeons representing colorectal surgeons, urogynecologists, and urologists distributed throughout North America (56%), Latin America (4%), Western Europe (29%), Asia (4%), and Africa (1%) participated in the first round of Delphi voting. After 2 additional rounds and a final consensus meeting, 16 of 30 descriptors met 70% consensus. Descriptors that met consensus were surgery type, posterior dissection, ventral dissection, mesh used, type of mesh used, mesh location, sutures used, suture type, pouch of Douglas and peritoneum reclosed, length of rectum imbricated, length of bowel resected, levatoroplasty, simultaneous vaginal procedure, simultaneous gynecologic procedure, simultaneous enterocele repair, and simultaneous urinary incontinence procedure. LIMITATIONS: The survey represents the views of members of the Delphi panel and may not represent the viewpoints of all surgeons. CONCLUSIONS: This Delphi survey establishes international consensus descriptors for intraoperative variables that have been used to produce a synoptic operative report. This will help establish defined operative reporting to improve clinical communication, quality measures, and clinical research. See Video Abstract. DESARROLLO DE UN PROTOCOLO OPERATORIO SINÓPTICO DERIVADO DE CONSENSO PARA EL PROLAPSO RECTAL: UN INFORME DEL CONSORCIO DE TRASTORNOS DEL PISO PÉLVICO ANTECEDENTES: Los protocolos operativos narrativos frecuentemente pueden omitir u oscurecer datos de un procedimiento. OBJETIVO: Nuestro objetivo es desarrollar un protocolo operatorio sinóptico para el prolapso rectal que incluya descriptores básicos desarrollados por un consenso internacional de cirujanos expertos en piso pélvico. DISEÑO: Los descriptores para pacientes sometidos a cirugía de prolapso rectal se generaron mediante revisión. Se reclutó a miembros del Consorcio de Trastornos del Piso Pélvico para participar en un proceso Delphi de 3 rondas utilizando una escala Likert de 9 puntos. Los descriptores que lograron un 70% de acuerdo se mantuvieron en la primera ronda, los descriptores que obtuvieron un 40-70% de acuerdo se recircularon en rondas posteriores. Se determinó una lista final de descriptores operativos en una reunión de consenso, con una reunión de consenso final de más del 70% de acuerdo. ESCENARIO: Esta fue una encuesta administrada a miembros del Consorcio de Trastornos del Piso Pélvico. PRINCIPALES MEDIDAS DE RESULTADO: Se seleccionaron los descriptores que cumplieron más del 70% de acuerdo. RESULTADOS: Ciento setenta y seis cirujanos en representación de cirujanos colorrectales, uroginecólogos y urólogos distribuidos en América del Norte (56%), América Latina (4%), Europa Occidental (29%), Asia (4%) y África (1%) participaron en la primera ronda de votación Delphi. Después de dos rondas adicionales y una reunión de consenso final, 16 de 30 descriptores alcanzaron un 70% de consenso. Los descriptores que alcanzaron consenso fueron: tipo de cirugía, disección posterior, disección ventral, malla utilizada, tipo de malla utilizada, ubicación de la malla, suturas utilizadas, tipo de sutura, cierre del fondo de saco de Douglas y peritoneo, longitud del recto superpuesto, longitud del intestino resecado, plastía de los elevadores , procedimiento vaginal simultáneo, procedimiento ginecológico simultáneo, reparación simultánea de enterocele y procedimiento simultáneo de incontinencia urinaria. LIMITACIONES: La encuesta representa las opiniones de los miembros del panel Delphi y puede no representar los puntos de vista de todos los cirujanos. CONCLUSIONES/DISCUSIÓN: Esta encuesta Delphi establece descriptores de consenso internacional para las variables intraoperatorias que se han utilizado para producir un protocolo operatorio sinóptico. Esto ayudará a establecer protocolos operativos definidos para mejorar la comunicación clínica, las medidas de calidad y la investigación clínica. (Traducción—Dr. Felipe Bellolio)