Ris, Frédéric

BACKGROUND: The Ventral Rectopexy International Expert Panel recently published a consensus update on ventral rectopexy. The ability of large language models to synthesize the literature on ventral rectopexy without an explicit knowledge base was studied before the publication of the consensus. OBJECTIVE: To compare the responses and citations of different large language models on ventral rectopexy using the expert panel consensus as the reference standard. DESIGN: ChatGPT-4o, Gemini 1.5 Pro, and OpenEvidence were compared on content appropriateness (1 = inappropriate to 5 = appropriate), readability (Flesch reading ease), response length, citation fabrication, and citation quality per Oxford Levels of Evidence. The most content-appropriate chatbot response selected by the expert panel was de-identified and presented alongside the consensus text to 15 colorectal surgeons who attempted to identify the chatbot-generated text. SETTINGS: Questions were submitted from September 18 to 19, 2024. Analysis was performed before the online publication of the consensus on January 30, 2025. MAIN OUTCOME MEASURES: The main outcome measures included content appropriateness, fabricated citation rate, citation quality, and the accuracy of identifying human versus chatbot text by colorectal surgeons. RESULTS: OpenEvidence ranked highest for content appropriateness (mean 3.5/5), above Gemini (3.0/5) and ChatGPT (2.8/5; p < 0.001). ChatGPT was most verbose with the highest readability scores ( p = 0.021). ChatGPT fabricated 53% of citations; Gemini fabricated 12%; OpenEvidence fabricated 0% ( p < 0.001). All OpenEvidence citations were peer reviewed, with 40 of 117 (34%) citing level I to III studies compared with 46 of 94 (49%) of the references cited in the consensus ( p = 0.043). Chatbot-generated responses were identified with 28 of 51 (55%) accuracy. LIMITATIONS: Reproducibility may be affected due to the nature of large language models and the availability of the consensus after publication. CONCLUSIONS: OpenEvidence outperformed Gemini 1.5 Pro and ChatGPT-4o in content appropriateness and peer-reviewed citation quantity and quality. Chatbot-generated text was indistinguishable from expert-authored consensus to subject matter experts. Large language models, as an early-stage research tool, may be viable for future consensus working groups, provided transparent disclosure and rigorous oversight. See Video Abstract . ¿PUEDEN LOS MODELOS LINGÜÍSTICOS DE GRAN TAMAÑO SER UNA HERRAMIENTA VIABLE PARA LOS GRUPOS DE TRABAJO DE CONSENSO? LA EXPERIENCIA DEL GRUPO DE CONSENSO DE EXPERTOS EN RECTOPEXIA VENTRAL ANTECEDENTES: El Panel Internacional de Expertos en Rectopexia Ventral publicó recientemente una actualización consensuada sobre la rectopexia ventral. Antes de la publicación del consenso, se estudió la capacidad de los grandes modelos lingüísticos para sintetizar la bibliografía sobre la rectopexia ventral sin una base de conocimientos explícita. Objetivo: Comparar las respuestas y citas de diferentes grandes modelos lingüísticos sobre la rectopexia ventral utilizando el consenso del panel de expertos como estándar de referencia. DISEÑO: Se compararon ChatGPT-4o, Gemini 1.5 Pro y OpenEvidence en cuanto a la idoneidad del contenido (1 = inadecuado a 5 = adecuado), la legibilidad (índice de legibilidad de Flesch), la longitud de la respuesta, la fabricación de citas y la calidad de las citas según los niveles de evidencia de Oxford. La respuesta del chatbot más adecuada en cuanto al contenido seleccionada por el panel de expertos se anonimizó y se presentó junto con el texto del consenso a 15 cirujanos colorrectales que intentaron identificar el texto generado por el chatbot. ENTORNO: Las preguntas se enviaron los días 18 y 19 de septiembre de 2024. El análisis se realizó antes de la publicación del consenso en línea el 30 de enero de 2025. PRINCIPALES MEDIDAS DE RESULTADOS: Adecuación del contenido, tasa de citas inventadas, calidad de las citas, precisión en la identificación del texto humano frente al del chatbot por parte de los cirujanos colorrectales. RESULTADOS: OpenEvidence obtuvo la puntuación más alta en cuanto a la adecuación del contenido (media de 3,5/5), por encima de Gemini (3,0/5) y ChatGPT (2,8/5) (p<0,001). ChatGPT fue el más prolijo, con las puntuaciones más altas en legibilidad (p = 0,021). ChatGPT inventó el 53% de las citas; Gemini inventó el 12 %; OpenEvidence inventó el 0 % (p < 0,001). Todas las citas de OpenEvidence fueron revisadas por pares, con 40/117 (34 %) que citaban estudios de nivel I-III frente a 46/94 (49 %) de las referencias citadas en el consenso (p = 0,043). Las respuestas generadas por el chatbot se identificaron con una precisión del 28/51 (55 %). LIMITACIONES: Reproducibilidad debido a la naturaleza de los modelos de lenguaje grandes y a la disponibilidad del consenso tras la publicación. CONCLUSIONES: OpenEvidence superó a Gemini 1.5 Pro y ChatGPT-4o en cuanto a la idoneidad del contenido y la cantidad y calidad de las citas revisadas por pares. El texto generado por el chatbot era indistinguible del consenso redactado por expertos para los expertos en la materia. Los modelos de lenguaje grandes como herramienta de investigación en fase inicial pueden ser viables para futuros grupos de trabajo de consenso, siempre que se garantice una divulgación transparente y una supervisión rigurosa. ( AI-generated translation )

BACKGROUND: Ventral rectopexy has become increasingly used in the surgical management of rectal prolapse. There is a need for a contemporary evaluation of the role of the procedure and a description of its use in clinical practice. OBJECTIVE: To create an international consensus on ventral rectopexy. DESIGN: An expert panel undertook a scoping review of the literature to identify subject domains of interest. Literature reviews were completed for each domain with subsequent development of evidence-based and practice-based statements. These statements were compiled and reviewed by the group over a total of 9 meetings. Once statements were confirmed, supportive text was finalized, and an anonymous vote was completed using Research Electronic Data Capture to record consensus. SETTING: An international expert panel comprising colorectal surgeons who perform ventral rectopexy in a high-volume center. MAIN OUTCOME MEASURES: Statements and associated expert consensus. RESULTS: Eleven experts identified 10 domains for review: indications, contraindications, assessment and planning, consent, operative details, prostheses, complications, follow-up, recurrence and reoperative surgery, and specific considerations. After round table review, there were 17 resultant statements for consideration. Experts agreed unanimously with 13 of the statements and their accompanying text, with different experts disagreeing regarding the remaining 4 statements (91% consensus each). LIMITATIONS: Paucity of high-quality data. CONCLUSIONS: This international group developed 17 statements with high consensus. These statements provide an up-to-date summary of the literature, identify key areas for research development, and provide a reference point for colon and rectal surgeons who undertake ventral rectopexy as part of their practice. See Video Abstract . RECTOPEXIA VENTRAL: CONSENSO DE UN PANEL INTERNACIONAL DE EXPERTOS Y REVISIÓN DE LA LITERATURA CONTEMPORÁNEA ANTECEDENTES: La rectopexia ventral se ha utilizado cada vez más en el tratamiento quirúrgico del prolapso rectal. Es necesario realizar una evaluación contemporánea del rol del procedimiento y una descripción de su uso en la práctica clínica. OBJETIVO: Crear un consenso internacional sobre la rectopexia ventral. DISEÑO: Un panel de expertos realizó una revisión exhaustiva de la literatura para identificar los dominios temáticos de interés. Se completaron revisiones de la literatura para cada dominio con el desarrollo de declaraciones basadas en la evidencia y la práctica. Estas fueron compiladas y revisadas por el grupo a lo largo de un total de nueve reuniones. Una vez que se confirmaron las declaraciones, se finalizó el texto de apoyo y se completó una votación anónima utilizando REDCap para registrar el consenso. ESCENARIO: Un panel internacional de expertos compuesto por cirujanos colorrectales que realizan rectopexia ventral en un centro de alto volumen. PRINCIPALES MEDIDAS DE RESULTADOS: Declaraciones y consenso de expertos asociado. RESULTADOS: Once expertos identificaron diez dominios a revisar: indicaciones, contraindicaciones, evaluación y planificación, consentimiento, detalles operatorios, prótesis, complicaciones, seguimiento, recurrencia y cirugía reoperatoria y consideraciones específicas. Después de la revisión en mesa redonda, hubo 17 declaraciones resultantes para su consideración. Los expertos estuvieron de acuerdo unánimemente con trece de las declaraciones y su texto acompañante, y diferentes expertos estuvieron en desacuerdo con cuatro declaraciones (91% de consenso cada una). LIMITACIONES: Escasez de datos de alta calidad. CONCLUSIÓN: Este grupo internacional desarrolló 17 declaraciones con alto consenso. Estas declaraciones proporcionan un resumen actualizado de la literatura, identifican áreas claves para el desarrollo de la investigación y un punto de referencia para los cirujanos de colon y recto que realizan rectopexia ventral como parte de su práctica. (Traducción—Dr. Aurian Garcia Gonzalez )