Сравнение программы S-Detect™ и стандартного УЗИ щитовидной железы для распознавания новообразований в соответствии с классификацией Британской ассоциации по щитовидной железе (British Thyroid Association – BTA)

Перевод статьи: "A Comparison as to the Advocacy and Inter-Observer Agreement of Using S-Detect™ against Sonographers Classifying Thyroid Lesions Using the British Thyroid Association (BTA) Guidelines".

Введение

Узловые образования в щитовидной железе выявляют почти у 67% взрослого населения. Тем не менее при цитологическом исследовании злокачественными оказываются лишь 4–7% узлов [1, 2].

Учитывая большое количество пациентов с узлами в щитовидной железе, становится очевидной диагностическая проблема выявления узлов, требующих проведения биопсии.

В медицинских учреждениях все шире используют искусственный интеллект, и Комиссия по качеству медицинской помощи (Care Quality Commission – CQC) в 2018 г. отметила, что «компьютерная обработка позволит „революционизировать“ диагностическую визуализацию».

Искусственный интеллект должен смягчить проблемы расхождения результатов исследований между специалистами ультразвуковой диагностики (УЗД) и операторами программы S-Detect™ – хорошо известное ограничение ультразвукового метода исследования. Радиологи все активнее поддерживают применение ИИ, причем M. Buda и соавт. (2019) показали, что ИИ может повысить производительность работы радиологов при использовании Американской системы классификации узловых поражений [7].

В настоящем исследовании была проведена оценка новой технологии компании Samsung Medison, Co. Ltd. (Корея), известной как S-Detect™. Эта программа предназначена для классификации узлов, обнаруженных при ультразвуковом исследовании, определения степени их злокачественности и тактики дальнейшего ведения пациента.

С недавних пор технологию S-Detect™ стали использовать для визуализации молочной и щитовидной желез и обнаружили хорошую согласованность и высокую чувствительность метода [3–5]. Однако эти исследования не соответствуют принципам Руководства Британской ассоциации по щитовидной железе (ВТА guidelines) по классификации узловых образований, которая в настоящее время стала стандартной в большинстве медицинских учреждений Великобритании.

Цель исследования

Целью настоящего исследования явилась оценка соответствия результатов применения S-Detect™ и классификации узлов щитовидной железы, выполненной опытным оператором согласно руководству ВТА. Чувствительность, специфичность, положительная и отрицательная прогностическая ценность применения программы S-Detect™ будут сравниваться с заключением оператора УЗД. Согласованность результатов будет оцениваться с помощью коэффициента каппа. Главная цель этого первого исследования заключается в оценке потенциальной клинической значимости программы S-Detect™ для клинической практики в Великобритании.

Материал и методы

В общей сложности 51 пациент Доверительного фонда Национальной службы здравоохранения с узлами в щитовидной железе проспективно обследован с использованием ультразвукового аппарата RS80 (Samsung Medison, Co. Ltd., Корея), оснащенного программой S-Detect™, и согласно руководству ВТА. Исследователь применял программу S-Detect™ для классификации узла, а результат сравнивали с классификацией оператора УЗД на том же изображении. Во время классификации результаты каждого исследователя не были доступны другому, чтобы избежать системной ошибки. Классификации U1 и U2 по ВТА считали отрицательными для наличия заболевания, так как на практике такая классификация не требует дальнейшего вмешательства. Классификации U3, U4 и U5 по ВТА считали положительными относительно заболевания, так как они требуют проведения биопсии.

Результаты

В таблицах 1A, 1B, 1C приведены положительные / отрицательные результаты классификации по ВТА, определенные системой S-Detect™ или специалистом УЗД.

Из 51 случая два были классифицированы программой S-Detect™ как положительные и также охарактеризованы как положительные оператором УЗД, т.е. являются истинно положительными результатами.

Программа S-Detect™ не классифицировала ни одного случая в качестве отрицательного, который был бы классифицирован как положительный оператором УЗД, т.е. ложноотрицательных случаев не было зарегистрировано.

Программа S-Detect™ и оператор УЗД классифицировали 41 случай как отрицательный, т.е. был выявлен 41 истинно отрицательный случай.

Восемь случаев, классифицированных программой S-Detect™ как положительные, оператор УЗД классифицировал как отрицательные, что дает частоту ложноположительных результатов 16,3% (8/51).

Коэффициент каппа для согласия между данными оператора УЗД и программой S-Detect™ по определению наличия заболевания и, таким образом, необходимости дальнейшего обследования составил 0,287 с приблизительным уровнем значимости 0,003. Этот результат свидетельствует о хорошей согласованности результатов между программой S-Detect™ и оператором УЗД (таблица 2).

Положительное прогностическое значение для программы S-Detect™ составляет 20%, что равно вероятности положительного результата для узла, классифицированного программным обеспечением.

Отрицательное прогностическое значение для программы S-Detect™ достигает 100%, что равно вероятности отрицательного результата для узла, классифицированного программным обеспечением.

Чувствительность программы S-Detect™ составляет 100%, что отражает ее способность обнаружить заболевание, если оно имеется.

Специфичность программы S-Detect™ равна 83,7%, что отражает ее способность правильно классифицировать отсутствие заболевания.

Обсуждение

Результаты исследования обнадеживающие, поскольку показывают потенциальную эффективность программы S-Detect™. Программа S-Detect™ правильно определила болезнь как имеющуюся, т.е. классифицировала узлы как степени U3 и выше для всех случаев, классифицированных специалистом УЗД как свидетельствующие о ее наличии.

Из 51 случая выборки специалист УЗД определил 2 случая как положительные и 49 случаев как отрицательные. Это различие по классификации образцов значимое и отражает распределение узлов в щитовидной железе в клинической практике. Из этой выборки 3,9% результатов были определены как потенциально положительные на злокачественное поражение щитовидной железы, что соответствует данным обзора литературы о 4–7% злокачественных узлов [1, 2]. Хотя размер выборки относительно небольшой, его можно считать репрезентативным для общей популяции.

Основная цель исследования – оценить, существует ли достаточное соответствие между результатами программы S-Detect™ и специалиста УЗД, чтобы установить возможность клинически значимого применения программы S-Detect™. Коэффициент каппа для согласия между двумя источниками (оценщиками) по выявлению положительного и отрицательного заключения о наличии болезни составил 287, что указывает на «хорошее согласие».

Это показывает некоторую степень согласия между данными программы S-Detect™ и специалиста УЗД «золотым стандартом» в клинической практике.

При оценке данных становится очевидным, что программа S-Detect™ позволила выявить все положительные случаи, т.е. чувствительность S-Detect™ достигает 100%.

Положительное прогностическое значение было низким, на уровне 20%, что по существу означает завышенную классификацию поражений программой S-Detect™ при ошибке, тем самым приводящую к большему количеству биопсий.

Более важно, что программа S-Detect™ не склонна занижать классификацию узлов, оцениваемых специалистом УЗД как положительные, и, таким образом, предполагает, что риск для программы пропустить злокачественный узел низкий.

Заключение

Можно сделать вывод, что существует «высокое согласие» между результатами программы S-Detect™ и специалиста УЗД при определении того, было ли поражение щитовидной железы положительным или отрицательным, что на практике позволяет определить целесообразность дальнейшего обследования узла. В результатах программы S-Detect™ имеются некоторые разногласия, повышающие вероятность положительной классификации по сравнению со специалистом УЗД. Это уменьшает количество пропущенных злокачественных узлов, но может также увеличить количество последующих биопсий. Для более точной оценки рекомендуется провести дополнительные исследования на большей выборке с использованием цитологических или гистологических данных и двух изображений или трехмерных данных. Исследование показало, что программу S-Detect™ с использованием Руководства BTA в современной клинической практике можно считать имеющей высокий потенциал для использования в качестве дополнительного метода обследования.

Поддерживаемые системы: W10, WS80A, RS85, RS80A, HS70A, HS60.

Литература

1. Hoang J., Raduazo P., Yousem D., Eastwood J. What to Do with Incidental Thyroid Nodules on Imaging? An Approach for the Radiologist // Seminars Ultrasound, CT and MRI. 2012; 33 (2): 150–157.
2. Sabih D., Rahim, K. Thyroid Nodule Imaging, Status and Limitations // Asia Oceania J Nucl Med Biol. 2015; 3 (1).
3. Choi Y., Baek J., Park H. et al. A Computer-Aided Diagnosis System Using Artificial Intelligence for the Diagnosis and Characterization of Thyroid Nodules on Ultrasound: Initial Clinical Assessment // Thyroid. 2017; 27 (4): 546–552.
4. oo Y., Ha E., Cho Y. et al. Computer-Aided Diagnosis of Thyroid Nodules via Ultrasonography: Initial Clinical Experience // Korean J Radiol. 2018; 19 (4): 665.
5. Jeong E., Kim H., Ha E. et al. Computer-aided diagnosis system for thyroid nodules on ultrasonography: diagnostic performance and reproducibility based on the experience level of operators // Eur Radiol. 2019; 29 (4): 1978–1985.
6. British Thyroid Association. British Thyroid Association Guidelines for the Management of Thyroid Cancer // Clin Endocrinol. 2014; 81 (Suppl 1).
7. Buda M., Wildman-Tobriner B., Hoang J. et al. Management of Thyroid Nodules Seen on US Images: Deep Learning May Match Performance of Radiologists // Radiology. 2019: 181343.
8. Cqc.org.uk. (2018). [online] Available at: https://www.cqc.org.uk/sites/default/files/20180718-radiologyreporting-review-report-final-for-web.pdf [Accessed 18 Nov. 2018].