Саутэм М., Фостер У. Сравнительное исследование
диагностической ценности программы S-Detect™
и стандартного ультразвукового исследования
щитовидной железы для распознавания
ее новообразований в соответствии с классификацией
Британской ассоциации по щитовидной железе (British
Thyroid Association – BTA). Вопросы практической
кольпоскопии. Генитальные инфекции. 2023; 3: 6–9.
DOI 10.46393/27826392_2023_3_6
диагностической ценности программы S-Detect™
и стандартного ультразвукового исследования
щитовидной железы для распознавания
ее новообразований в соответствии с классификацией
Британской ассоциации по щитовидной железе (British
Thyroid Association – BTA). Вопросы практической
кольпоскопии. Генитальные инфекции. 2023; 3: 6–9.
DOI 10.46393/27826392_2023_3_6
Узловые образования в щитовидной железе диагностируются при ультразвуковом исследовании довольно часто, од-
нако истинные опухоли и злокачественные образования среди них бывают очень редко. Для уменьшения количества
ненужных биопсий была предложена система TIRADS, которая унифицирует подход к описанию и оценке узлов щито-
видной железы. Быстрый прогресс в разработке искусственного интеллекта, основанного на нейронных сетях, привел
к появлению коммерчески доступных прикладных программ, одной из которых является S-Detect™ для щитовидной
железы. Авторы сравнили результаты классификации узловых образований в щитовидной железе у 51 пациента, вы-
полненные опытным врачом и оператором программы S-Detect™. Отмечены высокая клинически приемлемая чувстви-
тельность и отрицательное прогностическое значение S-Detect™ (показателя 100%).
нако истинные опухоли и злокачественные образования среди них бывают очень редко. Для уменьшения количества
ненужных биопсий была предложена система TIRADS, которая унифицирует подход к описанию и оценке узлов щито-
видной железы. Быстрый прогресс в разработке искусственного интеллекта, основанного на нейронных сетях, привел
к появлению коммерчески доступных прикладных программ, одной из которых является S-Detect™ для щитовидной
железы. Авторы сравнили результаты классификации узловых образований в щитовидной железе у 51 пациента, вы-
полненные опытным врачом и оператором программы S-Detect™. Отмечены высокая клинически приемлемая чувстви-
тельность и отрицательное прогностическое значение S-Detect™ (показателя 100%).
Введение
Узловые образования в щитовидной железе вы-
являют почти у 67% взрослого населения. Тем не менее
при цитологическом исследовании злокачественными
оказываются лишь 4–7% узлов [1, 2].
Учитывая большое количество пациентов с уз-
лами в щитовидной железе, становится очевидной ди-
агностическая проблема выявления узлов, требующих
проведения биопсии.
В медицинских учреждениях все шире использу-
ют искусственный интеллект (ИИ). Комиссия по каче-
ству медицинской помощи (Care Quality Commission –
CQC) в 2018 г. отметила, что «компьютерная обработка
позволит „революционизировать“ диагностическую ви-
зуализацию» [3].
ИИ должен смягчить проблемы расхождения ре-
зультатов исследований между специалистами ультразвуковой
диагностики (УЗД) и операторами программы
S-Detect™ – хорошо известное ограничение ультразвуко-
вого метода исследования. Радиологи все активнее под-
держивают применение ИИ, причем M. Buda и соавт.
(2019) показали, что ИИ может повысить производитель-
ность работы радиологов при использовании Американ-
ской системы классификации узловых поражений [4].
В настоящем исследовании была проведена оцен-
ка новой технологии компании Samsung Medison, Co.
Ltd. (Корея), известной как S-Detect™. Эта программа
предназначена для классификации узлов, обнаружен-
ных при ультразвуковом исследовании, определения
степени их злокачественности и тактики дальнейшего
ведения пациента (рис. 1, 2).
С недавних пор технологию S-Detect™ стали ис-
пользовать для визуализации молочной и щитовидной
желез и обнаружили хорошую согласованность и вы-
сокую чувствительность метода [5–7]. Однако эти ис-
следования не соответствуют принципам Руководства
Британской ассоциации по щитовидной железе (ВТА
guidelines) по классификации узловых образований, ко-
торая в настоящее время стала стандартной в большин-
стве медицинских учреждений Великобритании [8].
Целью настоящего исследования явилась оценка
соответствия результатов применения S-Detect™ и клас-
сификации узлов щитовидной железы, выполненной
опытным оператором согласно руководству ВТА. Про-
ведено сравнение чувствительности, специфичности,
положительной и отрицательной прогностической цен-
ности применения программы S-Detect™ с заключением
оператора УЗД. Оценка согласованности результатов
произведена с помощью коэффициента каппа. Главная
цель этого первого исследования заключалась в оценке
потенциальной клинической значимости программы
S-Detect™ для клинической практики в Великобритании.
Материал и методы
В общей сложности 51 пациент Доверительного
фонда Национальной службы здравоохранения с уз-
лами в щитовидной железе проспективно обследован
с использованием ультразвукового аппарата RS80A
(Samsung Medison, Co. Ltd., Корея), оснащенного про-
граммой S-Detect™, и согласно руководству ВТА. Иссле-
дователь применял программу S-Detect™ для классифи-
кации узла, а результат сравнивали с классификацией
оператора УЗД на том же изображении. Во время клас-
сификации результаты каждого исследователя не были
доступны другому во избежание системной ошибки.
Классификации U1 и U2 по ВТА считали отрицательны-
ми для наличия заболевания, так как на практике они
не требуют дальнейшего вмешательства. Классифика-
ции U3, U4 и U5 по ВТА считали положительными отно-
сительно заболевания, так как они требуют проведения
биопсии.
Узловые образования в щитовидной железе вы-
являют почти у 67% взрослого населения. Тем не менее
при цитологическом исследовании злокачественными
оказываются лишь 4–7% узлов [1, 2].
Учитывая большое количество пациентов с уз-
лами в щитовидной железе, становится очевидной ди-
агностическая проблема выявления узлов, требующих
проведения биопсии.
В медицинских учреждениях все шире использу-
ют искусственный интеллект (ИИ). Комиссия по каче-
ству медицинской помощи (Care Quality Commission –
CQC) в 2018 г. отметила, что «компьютерная обработка
позволит „революционизировать“ диагностическую ви-
зуализацию» [3].
ИИ должен смягчить проблемы расхождения ре-
зультатов исследований между специалистами ультразвуковой
диагностики (УЗД) и операторами программы
S-Detect™ – хорошо известное ограничение ультразвуко-
вого метода исследования. Радиологи все активнее под-
держивают применение ИИ, причем M. Buda и соавт.
(2019) показали, что ИИ может повысить производитель-
ность работы радиологов при использовании Американ-
ской системы классификации узловых поражений [4].
В настоящем исследовании была проведена оцен-
ка новой технологии компании Samsung Medison, Co.
Ltd. (Корея), известной как S-Detect™. Эта программа
предназначена для классификации узлов, обнаружен-
ных при ультразвуковом исследовании, определения
степени их злокачественности и тактики дальнейшего
ведения пациента (рис. 1, 2).
С недавних пор технологию S-Detect™ стали ис-
пользовать для визуализации молочной и щитовидной
желез и обнаружили хорошую согласованность и вы-
сокую чувствительность метода [5–7]. Однако эти ис-
следования не соответствуют принципам Руководства
Британской ассоциации по щитовидной железе (ВТА
guidelines) по классификации узловых образований, ко-
торая в настоящее время стала стандартной в большин-
стве медицинских учреждений Великобритании [8].
Целью настоящего исследования явилась оценка
соответствия результатов применения S-Detect™ и клас-
сификации узлов щитовидной железы, выполненной
опытным оператором согласно руководству ВТА. Про-
ведено сравнение чувствительности, специфичности,
положительной и отрицательной прогностической цен-
ности применения программы S-Detect™ с заключением
оператора УЗД. Оценка согласованности результатов
произведена с помощью коэффициента каппа. Главная
цель этого первого исследования заключалась в оценке
потенциальной клинической значимости программы
S-Detect™ для клинической практики в Великобритании.
Материал и методы
В общей сложности 51 пациент Доверительного
фонда Национальной службы здравоохранения с уз-
лами в щитовидной железе проспективно обследован
с использованием ультразвукового аппарата RS80A
(Samsung Medison, Co. Ltd., Корея), оснащенного про-
граммой S-Detect™, и согласно руководству ВТА. Иссле-
дователь применял программу S-Detect™ для классифи-
кации узла, а результат сравнивали с классификацией
оператора УЗД на том же изображении. Во время клас-
сификации результаты каждого исследователя не были
доступны другому во избежание системной ошибки.
Классификации U1 и U2 по ВТА считали отрицательны-
ми для наличия заболевания, так как на практике они
не требуют дальнейшего вмешательства. Классифика-
ции U3, U4 и U5 по ВТА считали положительными отно-
сительно заболевания, так как они требуют проведения
биопсии.
Результаты
В таблицах 1–3 приведены положительные/отри-
цательные результаты классификации по ВТА, опреде-
ленные системой S-Detect™ или специалистом УЗД.
Из 51 случая два были классифицированы про-
граммой S-Detect™ как положительные и также охарак-
теризованы как положительные оператором УЗД, то
есть являются истинно положительными результатами.
Программа S-Detect™ не классифицировала ни одно-
го случая в качестве отрицательного, который был бы клас-
сифицирован как положительный оператором УЗД, то есть
ложноотрицательных случаев не было зарегистрировано.
Программа S-Detect™ и оператор УЗД классифи-
цировали 41 случай как отрицательный, то есть был вы-
явлен 41 истинно отрицательный случай.
Восемь случаев, классифицированных програм-
мой S-Detect™ как положительные, оператор УЗД клас-
сифицировал как отрицательные, что дает частоту лож-
ноположительных результатов 16,3% (8/51).
Коэффициент каппа для согласия между данны-
ми оператора УЗД и программой S-Detect™ по опреде-
лению наличия заболевания и, таким образом, необ-
ходимости дальнейшего обследования составил 0,287
с приблизительным уровнем значимости 0,003. Этот
результат свидетельствует о хорошей согласованности
результатов между программой S-Detect™ и оператором
УЗД (табл. 4).
Положительное прогностическое значение для
программы S-Detect™ составляет 20%, что равно вероят-
ности положительного результата для узла, классифици-
рованного программным обеспечением.
Отрицательное прогностическое значение для
программы S-Detect™ достигает 100%, что равно вероят-
ности отрицательного результата для узла, классифици-
рованного программным обеспечением.
Чувствительность программы S-Detect™ состав-
ляет 100%, что отражает ее способность обнаружить за-
болевание, если оно имеется.
В таблицах 1–3 приведены положительные/отри-
цательные результаты классификации по ВТА, опреде-
ленные системой S-Detect™ или специалистом УЗД.
Из 51 случая два были классифицированы про-
граммой S-Detect™ как положительные и также охарак-
теризованы как положительные оператором УЗД, то
есть являются истинно положительными результатами.
Программа S-Detect™ не классифицировала ни одно-
го случая в качестве отрицательного, который был бы клас-
сифицирован как положительный оператором УЗД, то есть
ложноотрицательных случаев не было зарегистрировано.
Программа S-Detect™ и оператор УЗД классифи-
цировали 41 случай как отрицательный, то есть был вы-
явлен 41 истинно отрицательный случай.
Восемь случаев, классифицированных програм-
мой S-Detect™ как положительные, оператор УЗД клас-
сифицировал как отрицательные, что дает частоту лож-
ноположительных результатов 16,3% (8/51).
Коэффициент каппа для согласия между данны-
ми оператора УЗД и программой S-Detect™ по опреде-
лению наличия заболевания и, таким образом, необ-
ходимости дальнейшего обследования составил 0,287
с приблизительным уровнем значимости 0,003. Этот
результат свидетельствует о хорошей согласованности
результатов между программой S-Detect™ и оператором
УЗД (табл. 4).
Положительное прогностическое значение для
программы S-Detect™ составляет 20%, что равно вероят-
ности положительного результата для узла, классифици-
рованного программным обеспечением.
Отрицательное прогностическое значение для
программы S-Detect™ достигает 100%, что равно вероят-
ности отрицательного результата для узла, классифици-
рованного программным обеспечением.
Чувствительность программы S-Detect™ состав-
ляет 100%, что отражает ее способность обнаружить за-
болевание, если оно имеется.
Специфичность программы S-Detect™ равна
83,7%, что отражает ее способность правильно класси-
фицировать отсутствие заболевания.
Обсуждение
Результаты исследования являются обнадежива-
ющими, поскольку показывают потенциальную эффек-
тивность программы S-Detect™. Программа S-Detect™
правильно определила болезнь как имеющуюся, то есть
классифицировала узлы как степени U3 и выше для всех
случаев, классифицированных специалистом УЗД как
свидетельствующие о ее наличии.
Из 51 случая выборки специалист УЗД определил
два случая как положительные и 49 случаев как отрица-
тельные. Это различие по классификации образцов зна-
чимое и отражает распределение узлов в щитовидной
железе в клинической практике. Из этой выборки 3,9%
результатов были определены как потенциально поло-
жительные на злокачественное поражение щитовидной
железы, что соответствует данным обзора литературы
о 4–7% злокачественных узлов [1, 2]. Хотя размер выбор-
ки относительно небольшой, его можно считать репре-
зентативным для общей популяции.
Основная цель исследования – оценить, суще-
ствует ли достаточное соответствие между результатами
программы S-Detect™ и специалиста УЗД, чтобы устано-
вить возможность клинически значимого применения
программы S-Detect™. Коэффициент каппа для согласия
между двумя источниками (оценщиками) по выявлению
положительного и отрицательного заключения о нали-
чии болезни составил 287, что указывает на «хорошее
согласие». Это показывает некоторую степень согласия
между данными программы S-Detect™ и заключением
специалиста УЗД – «золотым стандартом» в клиниче-
ской практике.
При оценке данных становится очевидным, что
программа S-Detect™ позволила выявить все положи-
тельные случаи, то есть чувствительность S-Detect™ до-
стигает 100%.
Положительное прогностическое значение было
низким, на уровне 20%, что по существу означает за-
вышенную классификацию поражений программой
S-Detect™ при ошибке, тем самым приводящую к боль-
шему количеству биопсий.
Более важно, что программа S-Detect™ не склон-
на занижать классификацию узлов, оцениваемых
специалистом УЗД как положительные, следовательно,
риск для программы пропустить злокачественный узел
низкий.
Заключение
Можно сделать вывод, что существует «высокое
согласие» между результатами программы S-Detect™
и специалиста УЗД при определении того, было ли
поражение щитовидной железы положительным или
отрицательным, что на практике позволяет определить
целесообразность дальнейшего обследования узла.
В результатах программы S-Detect™ имеются некоторые
разногласия, повышающие вероятность положительной
классификации по сравнению со специалистом УЗД. Это
уменьшает количество пропущенных злокачественных
узлов, но может также увеличить количество
последующих биопсий. Для более точной оценки
рекомендуется провести дополнительные исследования
на большей выборке с использованием цитологических
или гистологических данных и двух изображений
или трехмерных данных. Исследование показало, что
программу S-Detect™ с использованием Руководства BTA
в современной клинической практике можно считать
имеющей высокий потенциал для использования
в качестве дополнительного метода обследования.
Поддерживаемые системы Samsung: RS85, W10,
W9, V8, HS60, HS50.
Литература
1. Hoang J., Raduazo P., Yousem D., Eastwood J. What to do
with incidental thyroid nodules on imaging? An approach for the
radiologist. Seminars Ultrasound CT MR. 2012; 33 (2): 150–157.
2. Sabih D., Rahim K. Thyroid nodule imaging, status and limitations.
Asia Oceania J. Nucl. Med. Biol. 2015; 3 (1): 560–57.
3. Cqc.org.uk. (2018). [online] Available at: https://www.cqc.
org.uk/sites/default/files/20180718-radiology-reporting-review-
report-final-for-web.pdf [Accessed 18 Nov. 2018].
4. Buda M., Wildman-Tobriner B., Hoang J. et al. Management
of thyroid nodules seen on US images: deep learning may match
performance of radiologists. Radiology. 2019; 292 (3): 695–701.
5. Choi Y., Baek J., Park H. et al. A Computer-aided diagnosis
system using artificial intelligence for the diagnosis and characterization
of thyroid nodules on ultrasound: initial clinical
assessment. Thyroid. 2017; 27 (4): 546–552.
6. Yoo Y., Ha E., Cho Y. et al. Computer-aided diagnosis of thyroid
nodules via ultrasonography: initial clinical experience.
Korean J. Radiol. 2018; 19 (4): 665–672.
7. Jeong E., Kim H., Ha E. et al. Computer-aided diagnosis
system for thyroid nodules on ultrasonography: diagnostic
performance and reproducibility based on the experience
level of operators. Eur. Radiol. 2019; 29 (4): 1978–1985.
8. British Thyroid Association. Guidelines for the Management
of Thyroid Cancer. Clin. Endocrinol. 2014; 81 (Suppl. 1): 1–122.
83,7%, что отражает ее способность правильно класси-
фицировать отсутствие заболевания.
Обсуждение
Результаты исследования являются обнадежива-
ющими, поскольку показывают потенциальную эффек-
тивность программы S-Detect™. Программа S-Detect™
правильно определила болезнь как имеющуюся, то есть
классифицировала узлы как степени U3 и выше для всех
случаев, классифицированных специалистом УЗД как
свидетельствующие о ее наличии.
Из 51 случая выборки специалист УЗД определил
два случая как положительные и 49 случаев как отрица-
тельные. Это различие по классификации образцов зна-
чимое и отражает распределение узлов в щитовидной
железе в клинической практике. Из этой выборки 3,9%
результатов были определены как потенциально поло-
жительные на злокачественное поражение щитовидной
железы, что соответствует данным обзора литературы
о 4–7% злокачественных узлов [1, 2]. Хотя размер выбор-
ки относительно небольшой, его можно считать репре-
зентативным для общей популяции.
Основная цель исследования – оценить, суще-
ствует ли достаточное соответствие между результатами
программы S-Detect™ и специалиста УЗД, чтобы устано-
вить возможность клинически значимого применения
программы S-Detect™. Коэффициент каппа для согласия
между двумя источниками (оценщиками) по выявлению
положительного и отрицательного заключения о нали-
чии болезни составил 287, что указывает на «хорошее
согласие». Это показывает некоторую степень согласия
между данными программы S-Detect™ и заключением
специалиста УЗД – «золотым стандартом» в клиниче-
ской практике.
При оценке данных становится очевидным, что
программа S-Detect™ позволила выявить все положи-
тельные случаи, то есть чувствительность S-Detect™ до-
стигает 100%.
Положительное прогностическое значение было
низким, на уровне 20%, что по существу означает за-
вышенную классификацию поражений программой
S-Detect™ при ошибке, тем самым приводящую к боль-
шему количеству биопсий.
Более важно, что программа S-Detect™ не склон-
на занижать классификацию узлов, оцениваемых
специалистом УЗД как положительные, следовательно,
риск для программы пропустить злокачественный узел
низкий.
Заключение
Можно сделать вывод, что существует «высокое
согласие» между результатами программы S-Detect™
и специалиста УЗД при определении того, было ли
поражение щитовидной железы положительным или
отрицательным, что на практике позволяет определить
целесообразность дальнейшего обследования узла.
В результатах программы S-Detect™ имеются некоторые
разногласия, повышающие вероятность положительной
классификации по сравнению со специалистом УЗД. Это
уменьшает количество пропущенных злокачественных
узлов, но может также увеличить количество
последующих биопсий. Для более точной оценки
рекомендуется провести дополнительные исследования
на большей выборке с использованием цитологических
или гистологических данных и двух изображений
или трехмерных данных. Исследование показало, что
программу S-Detect™ с использованием Руководства BTA
в современной клинической практике можно считать
имеющей высокий потенциал для использования
в качестве дополнительного метода обследования.
Поддерживаемые системы Samsung: RS85, W10,
W9, V8, HS60, HS50.
Литература
1. Hoang J., Raduazo P., Yousem D., Eastwood J. What to do
with incidental thyroid nodules on imaging? An approach for the
radiologist. Seminars Ultrasound CT MR. 2012; 33 (2): 150–157.
2. Sabih D., Rahim K. Thyroid nodule imaging, status and limitations.
Asia Oceania J. Nucl. Med. Biol. 2015; 3 (1): 560–57.
3. Cqc.org.uk. (2018). [online] Available at: https://www.cqc.
org.uk/sites/default/files/20180718-radiology-reporting-review-
report-final-for-web.pdf [Accessed 18 Nov. 2018].
4. Buda M., Wildman-Tobriner B., Hoang J. et al. Management
of thyroid nodules seen on US images: deep learning may match
performance of radiologists. Radiology. 2019; 292 (3): 695–701.
5. Choi Y., Baek J., Park H. et al. A Computer-aided diagnosis
system using artificial intelligence for the diagnosis and characterization
of thyroid nodules on ultrasound: initial clinical
assessment. Thyroid. 2017; 27 (4): 546–552.
6. Yoo Y., Ha E., Cho Y. et al. Computer-aided diagnosis of thyroid
nodules via ultrasonography: initial clinical experience.
Korean J. Radiol. 2018; 19 (4): 665–672.
7. Jeong E., Kim H., Ha E. et al. Computer-aided diagnosis
system for thyroid nodules on ultrasonography: diagnostic
performance and reproducibility based on the experience
level of operators. Eur. Radiol. 2019; 29 (4): 1978–1985.
8. British Thyroid Association. Guidelines for the Management
of Thyroid Cancer. Clin. Endocrinol. 2014; 81 (Suppl. 1): 1–122.
