eng
Выпуск #6/2014
М. Аникеева, А. Софронов, С. Дремов, А. Тер-Мартиросян
Цифровая система визуализации флюоресценции для фотодинамической терапии
Цифровая система визуализации флюоресценции для фотодинамической терапии
Просмотры: 5222
В статье представлена система визуализации пространственного распределения флюоресценции при диагностике и лечении методами фотодинамической терапии. Система успешно прошла клинические испытания.
Теги: object-oriented architecture photodynamic therapy visulisation визуализация объектно-ориентированная архитектура фотодинамическая терапия
Ф
отодинамическая терапия (ФДТ) – метод диагностики и лечения злокачественных раковых опухолей. Метод основан на способности некоторых препаратов (фотосенсибилизаторов) избирательно накапливаться в пораженных тканях и одновременно взаимодействовать с электромагнитным излучением видимого или ближнего инфракрасного диапазона. Локальная активация светом накопившегося в опухоли фотосенсибилизатора из полосы его поглощения приводит в присутствии кислорода тканей к развитию фотохимической реакции, разрушающей опухолевые клетки, за счет чего достигается лечебный эффект. При этом процесс сопровождается флюоресценцией как препарата, так и кислорода в более длинноволновой области спектра. Картина пространственного распределения флюоресценции дает информацию о размерах опухоли и концентрации препарата, а ее изменение во времени может дать и количественную информацию о необходимой дозе облучения. Данный эффект может использоваться не только при лечении, но и при диагностике онкологических заболеваний различных локализаций на ранних стадиях [1].
Благодаря современным достижениям в области полупроводниковой оптоэлектроники (разработке недорогих компактных мощных источников лазерного излучения на основе полупроводниковых лазерных диодов [2]) метод ФДТ стал доступен широкому кругу медицинских пользователей. Однако для получения и визуализации картины пространственного распределения флюоресценции фотосенсибилизатора необходима спектрально-селективная система регистрации оптического излучения. Она должна пропускать свет во всей полосе флюоресценции и оставаться непрозрачной для возбуждающего флюоресценцию излучения. В известных на настоящий момент устройствах ФДТ в качестве таких систем выступают либо очки, либо аналоговые видеокамеры с оптическими интерференционными фильтрами. Такой подход не только не позволяет количественно оценить параметры опухоли, но и не обеспечивает потенциально заложенного в системе ФДТ удобства применения.
Все это говорит о необходимости разработки цифровой системы визуализации флюоресценции фотосенсибилизаторов, позволяющей в полной мере использовать все потенциальные возможности метода фотодинамической терапии. То есть нужна система, способная обеспечить визуализацию наблюдаемого объекта в наиболее удобной форме и автоматически проводить количественный анализ изображения флюоресценции в реальном времени.
Основой такой системы стало разработанное программное обеспечение (ПО), которое позволило управлять фоточувствительным элементом системы и обрабатывать поступающие от него данные.
Анализ требований
к программному обеспечению систем фотодинамической терапии
Одним из ключевых моментов разработки ПО для систем фотодинамической терапии является форма визуализации получаемой информации, наиболее удобная для конечного пользователя. Анализ пожеланий практикующих врачей показал, что "классическое" представление в виде изображения в оттенках серого, получаемое непосредственно с камеры системы через спектрально-селективную оптику, недостаточно удобно для визуального восприятия. Оно также недостаточно информативно для анализа. Наилучшей формой визуализации оказалась псевдотрехмерная гистограмма распределения яркости по двум координатам, отображаемая рядом с реальной картиной, получаемой с камеры (рис.1). При этом сама реальная картина может быть представлена как в исходном виде в оттенках серого цвета, так и в псевдоцветах в соответствии с определенной принятой цветовой картой. Для дополнительной наглядности результатов необходимо также очерчивать на полученных изображениях контуры постоянного значения яркости по определенному заданному уровню, которые представляют собой, фактически, границы опухоли.
Помимо представления распределения интенсивности флюоресценции в реальном времени, необходимо также иметь возможность фиксировать изображения в определенные моменты времени для последующего сравнения и анализа.
Следующий аспект, требующий особого внимания, – это графический интерфейс пользователя ПО. С учетом специфики конечных пользователей ПО, интерфейс должен быть простым, удобным, способным обеспечивать минимум действий пользователя и позволять легко менять вид и представление визуализируемой информации.
Аппаратная платформа
Аппаратная часть системы, на которой предполагается функционирование ПО, состоит из стандартного ПК с подключенной к нему цифровой камерой по любому достаточно быстрому интерфейсу (USB2.0, IEEE1394, Ethernet). На объективе цифровой камеры установлен спектрально-селективный оптический фильтр, пропускающий излучение только в полосе флюоресценции используемого фотосенсибилизатора. Таким образом, поступающие с камеры видеокадры являются исходными данными для визуализации информации.
Блок-схема аппаратной части системы показана на рис.2. Аналоговый видеосигнал с фоточувствительной матрицы оцифровывается блоком цифровой обработки, который также отвечает за передачу информации в ПК. Оба блока объединены в цифровой камере. Также в состав прибора входит излучатель, возбуждающий флюоресценцию, блок питания и некоторые вспомогательные элементы.
Объектная модель программного обеспечения
Следуя рекомендациям [3], построение объектно ориентированной архитектуры разрабатываемого программного обеспечения состоит в построении абстракций для отдельных элементов системы, установлении ответственностей каждой абстракции и связей между ними. Готовая объектная модель системы (рис.2) представлена в виде совмещенной диаграммы классов и компонентов.
Программной абстракцией для источника исходных кадров является класс frameInput. Кроме очевидной способности возвращать очередной кадр видеопотока, в число обязанностей класса входит также предоставление информации о параметрах кадра (размеры, битность и т. д.). Класс прячет в себе конкретные детали аппаратного интерфейса подключения камеры к ПК, при этом конкретная реализация класса осуществляется либо с помощью фирменного SDK камеры, либо посредством DirectShow. В последнем случае может быть использована открытая библиотека videoInput [4], являющаяся объектно ориентированной оберткой над DirectShow.
Классы VideoOutput и ChartOutput являются абстракциями для устройств вывода информации в виде битовой карты и псевдотрехмерной гистограммы соответственно. В обязанности классов входит отображение графической информации в виде, показанном на рис. 1. Конкретная реализация классов осуществлена с использованием библиотеки OpenGL, имеющей аппаратную реализацию на большинстве видеокарт, при этом использование OpenGL существенно ускоряет вывод графики по сравнению со средствами Windows GDI. Оба класса являются наследниками абстрактного класса GLWidget, предназначенного для инкапсуляции функций по созданию и обслуживанию окна графического интерфейса пользователя, в которое осуществляется вывод средствами OpenGL.
Класс Analyzer инкапсулирует функции по анализу кадра изображения, поиску контуров постоянного значения и расчету данных для построения трехмерного графика. Класс имеет методы для передачи ему параметров анализа кадра (пороги контуров и т. д.), а также основной метод обработки, принимающий в аргументах указатель на устройство ввода кадров frameInput и указатели на устройства вывода VideoOutput и ChartOutput. Основная функция класса – определить границы пораженного участка ткани, рассчитать его площадь, а также подготовить данные к отображению на устройствах вывода и обновить последние. Конкретная реализация класса основана на использовании алгоритмов машинного зрения библиотеки OpenCV. В частности, производится топологический структурный анализ кадра для поиска полного множества контуров постоянного значения [5].
Класс mainWindow инкапсулирует функции создания пользовательского графического интерфейса, а также выполняет роль "самплера", вызывая по таймеру основной метод обработки класса Analyzer. Конкретная реализация основана на кросс-платформенном инструментарии Qt (версия, лицензированная по GNU LGPL). Это наиболее удобный и хорошо документированный способ быстрого создания графического интерфейса. По сравнению с набором классов MFC от Microsoft, Qt предлагает полностью правильный объектно-ориентированный подход к программированию с активным использованием иерархии классов, что упрощает и ускоряет разработку, обеспечивая более высокий уровень абстракции.
Полная модель содержит также ряд дополнительных классов. В частности, построенные по принципу связанного списка классы Contours для хранения контуров постоянного значения и ImgStack, производящий усреднение некоторого количества последовательных кадров для снижения уровня шумов, а также класс DimDialog, ответственный за вывод элементов графического пользовательского интерфейса, необходимых для калибровки реальных размеров объектов. Все зависимости программы от внешних библиотек показаны на рис.3.
Клинические испытания
На основе разработанной модели была создана конкретная реализация опытного образца системы визуализации флюоресценции – прибор "Флюовизор". В приборе использована цифровая монохромная камера с разрешением 752×582 пикселов, использующая интерфейс USB2.0. В качестве персонального компьютера использован ноутбук низшего ценового сегмента с двухъядерным процессором семейства Intel Celeron B800. Применение описанных подходов к разработке программного обеспечения позволило добиться работы системы в режиме "реального времени" (фактически, в режиме обновления изображений на экране с частотой 30 fps) даже на такой аппаратной платформе.
Опытный образец прошел клинические испытания в НИИ онкологии им.Н.Н.Петрова, где использовался для визуализации при диагностике и лечении базальноклеточного рака кожи методом ФДТ при облучении опухоли полупроводниковым лазером с длиной волны излучения λ = 665 нм. В качестве фотосенсибилизатора использовался препарат "Фотодитазин".
На рис.4 показана реальная картина распределения флюоресценции. На рис.5 представлена картина пространственного распределения флюоресценции в псевдоцвете. При этом опухоль выделяется красным цветом, предоставляя четкую визуализацию границ опухоли, а также их изменение со временем в процессе сеанса ФДТ.
На рис.6 представлена визуализация участка полного кадра с пораженной областью в виде псевдотрехмерного распределения интенсивности флюоресценции по координатам. Также показана найденная граница опухоли, отображаемая красной линией на исходном изображении и белой линией на трехмерной картинке.
Приведенные примеры иллюстрируют возможности по интерпретации реальных изображений, которые предоставляет пользователю разработанное программное обеспечение.
Такая форма представления данных наглядно показывает, в частности, распределение концентрации фотосенсибилизатора и ее динамическое изменение во времени, позволяет более дозированно и направленно обеспечивать облучение ткани лазером для оптимального проведения процедуры лечения методами ФДТ.
Заключение
В результате выполнения работы создано программное обеспечение для системы визуализации пространственного распределения флюоресценции при диагностике и лечении методами фотодинамической терапии. Разработана объектно ориентированная архитектура системы визуализации, произведен выбор оптимального варианта конкретной реализации с активным использованием сторонних библиотек с открытым исходным кодом. Изготовлен опытный образец системы визуализации, включающий аппаратную часть и программное обеспечение. Образец успешно прошел клинические испытания.
К настоящему времени в ООО "Аткус" разработана и успешно внедрена в серийное производство линейка медицинских лазерных аппаратов серии "Латус". Аппараты характеризуются уникальной схемой суммирования излучения полупроводниковых лазеров, современной элементной базой, использованием высокоэффективных мощных лазерных диодов. Кроме того, ООО "Аткус" предлагает систему визуализации флюоресценции фотосенсибилизаторов, торговое наименование "Флуовизор".
Работа выполнена в рамках проекта по развитию кооперации российских вузов и производственных предприятий (договор № 13.G25.31.0055). По результатам работы направлена заявка на патент на устройство визуализации флюоресценции фотосенсибилизаторов при диагностике и лечении методом ФДТ. Авторы выражают благодарность М. Л. Гельфонду за помощь в проведении клинических испытаний системы.
Литература
Loschenov V. B., Steiner R. – Proceeding SPIE, 1994, v, 2325, p.144.
Воробьев Л. Е., Софронов А. Н., Фирсов Д. А., Демидов Д. М., Леус Р. В., Свердлов М. А., Тер-Мартиросян А.Л. Лазерные диоды для фотодинамической терапии. – Научно-технические ведомости СПбГПУ. Физико-математические науки, 2011, № 2 (122), с. 80–84.
Гради Буч. Объектно-ориентированный анализ и проектирование с примерами приложений. – 3-е изд./ Пер. с англ. – М.: ООО "И.Д.Вильямс", 2008.
URL: https://github.com/ofTheo/videoInput.
Bradski G., Kaehler A. Learning OpenCV. – O’Reilly, 2008. ISBN: 978–0–596–51613–0.
отодинамическая терапия (ФДТ) – метод диагностики и лечения злокачественных раковых опухолей. Метод основан на способности некоторых препаратов (фотосенсибилизаторов) избирательно накапливаться в пораженных тканях и одновременно взаимодействовать с электромагнитным излучением видимого или ближнего инфракрасного диапазона. Локальная активация светом накопившегося в опухоли фотосенсибилизатора из полосы его поглощения приводит в присутствии кислорода тканей к развитию фотохимической реакции, разрушающей опухолевые клетки, за счет чего достигается лечебный эффект. При этом процесс сопровождается флюоресценцией как препарата, так и кислорода в более длинноволновой области спектра. Картина пространственного распределения флюоресценции дает информацию о размерах опухоли и концентрации препарата, а ее изменение во времени может дать и количественную информацию о необходимой дозе облучения. Данный эффект может использоваться не только при лечении, но и при диагностике онкологических заболеваний различных локализаций на ранних стадиях [1].
Благодаря современным достижениям в области полупроводниковой оптоэлектроники (разработке недорогих компактных мощных источников лазерного излучения на основе полупроводниковых лазерных диодов [2]) метод ФДТ стал доступен широкому кругу медицинских пользователей. Однако для получения и визуализации картины пространственного распределения флюоресценции фотосенсибилизатора необходима спектрально-селективная система регистрации оптического излучения. Она должна пропускать свет во всей полосе флюоресценции и оставаться непрозрачной для возбуждающего флюоресценцию излучения. В известных на настоящий момент устройствах ФДТ в качестве таких систем выступают либо очки, либо аналоговые видеокамеры с оптическими интерференционными фильтрами. Такой подход не только не позволяет количественно оценить параметры опухоли, но и не обеспечивает потенциально заложенного в системе ФДТ удобства применения.
Все это говорит о необходимости разработки цифровой системы визуализации флюоресценции фотосенсибилизаторов, позволяющей в полной мере использовать все потенциальные возможности метода фотодинамической терапии. То есть нужна система, способная обеспечить визуализацию наблюдаемого объекта в наиболее удобной форме и автоматически проводить количественный анализ изображения флюоресценции в реальном времени.
Основой такой системы стало разработанное программное обеспечение (ПО), которое позволило управлять фоточувствительным элементом системы и обрабатывать поступающие от него данные.
Анализ требований
к программному обеспечению систем фотодинамической терапии
Одним из ключевых моментов разработки ПО для систем фотодинамической терапии является форма визуализации получаемой информации, наиболее удобная для конечного пользователя. Анализ пожеланий практикующих врачей показал, что "классическое" представление в виде изображения в оттенках серого, получаемое непосредственно с камеры системы через спектрально-селективную оптику, недостаточно удобно для визуального восприятия. Оно также недостаточно информативно для анализа. Наилучшей формой визуализации оказалась псевдотрехмерная гистограмма распределения яркости по двум координатам, отображаемая рядом с реальной картиной, получаемой с камеры (рис.1). При этом сама реальная картина может быть представлена как в исходном виде в оттенках серого цвета, так и в псевдоцветах в соответствии с определенной принятой цветовой картой. Для дополнительной наглядности результатов необходимо также очерчивать на полученных изображениях контуры постоянного значения яркости по определенному заданному уровню, которые представляют собой, фактически, границы опухоли.
Помимо представления распределения интенсивности флюоресценции в реальном времени, необходимо также иметь возможность фиксировать изображения в определенные моменты времени для последующего сравнения и анализа.
Следующий аспект, требующий особого внимания, – это графический интерфейс пользователя ПО. С учетом специфики конечных пользователей ПО, интерфейс должен быть простым, удобным, способным обеспечивать минимум действий пользователя и позволять легко менять вид и представление визуализируемой информации.
Аппаратная платформа
Аппаратная часть системы, на которой предполагается функционирование ПО, состоит из стандартного ПК с подключенной к нему цифровой камерой по любому достаточно быстрому интерфейсу (USB2.0, IEEE1394, Ethernet). На объективе цифровой камеры установлен спектрально-селективный оптический фильтр, пропускающий излучение только в полосе флюоресценции используемого фотосенсибилизатора. Таким образом, поступающие с камеры видеокадры являются исходными данными для визуализации информации.
Блок-схема аппаратной части системы показана на рис.2. Аналоговый видеосигнал с фоточувствительной матрицы оцифровывается блоком цифровой обработки, который также отвечает за передачу информации в ПК. Оба блока объединены в цифровой камере. Также в состав прибора входит излучатель, возбуждающий флюоресценцию, блок питания и некоторые вспомогательные элементы.
Объектная модель программного обеспечения
Следуя рекомендациям [3], построение объектно ориентированной архитектуры разрабатываемого программного обеспечения состоит в построении абстракций для отдельных элементов системы, установлении ответственностей каждой абстракции и связей между ними. Готовая объектная модель системы (рис.2) представлена в виде совмещенной диаграммы классов и компонентов.
Программной абстракцией для источника исходных кадров является класс frameInput. Кроме очевидной способности возвращать очередной кадр видеопотока, в число обязанностей класса входит также предоставление информации о параметрах кадра (размеры, битность и т. д.). Класс прячет в себе конкретные детали аппаратного интерфейса подключения камеры к ПК, при этом конкретная реализация класса осуществляется либо с помощью фирменного SDK камеры, либо посредством DirectShow. В последнем случае может быть использована открытая библиотека videoInput [4], являющаяся объектно ориентированной оберткой над DirectShow.
Классы VideoOutput и ChartOutput являются абстракциями для устройств вывода информации в виде битовой карты и псевдотрехмерной гистограммы соответственно. В обязанности классов входит отображение графической информации в виде, показанном на рис. 1. Конкретная реализация классов осуществлена с использованием библиотеки OpenGL, имеющей аппаратную реализацию на большинстве видеокарт, при этом использование OpenGL существенно ускоряет вывод графики по сравнению со средствами Windows GDI. Оба класса являются наследниками абстрактного класса GLWidget, предназначенного для инкапсуляции функций по созданию и обслуживанию окна графического интерфейса пользователя, в которое осуществляется вывод средствами OpenGL.
Класс Analyzer инкапсулирует функции по анализу кадра изображения, поиску контуров постоянного значения и расчету данных для построения трехмерного графика. Класс имеет методы для передачи ему параметров анализа кадра (пороги контуров и т. д.), а также основной метод обработки, принимающий в аргументах указатель на устройство ввода кадров frameInput и указатели на устройства вывода VideoOutput и ChartOutput. Основная функция класса – определить границы пораженного участка ткани, рассчитать его площадь, а также подготовить данные к отображению на устройствах вывода и обновить последние. Конкретная реализация класса основана на использовании алгоритмов машинного зрения библиотеки OpenCV. В частности, производится топологический структурный анализ кадра для поиска полного множества контуров постоянного значения [5].
Класс mainWindow инкапсулирует функции создания пользовательского графического интерфейса, а также выполняет роль "самплера", вызывая по таймеру основной метод обработки класса Analyzer. Конкретная реализация основана на кросс-платформенном инструментарии Qt (версия, лицензированная по GNU LGPL). Это наиболее удобный и хорошо документированный способ быстрого создания графического интерфейса. По сравнению с набором классов MFC от Microsoft, Qt предлагает полностью правильный объектно-ориентированный подход к программированию с активным использованием иерархии классов, что упрощает и ускоряет разработку, обеспечивая более высокий уровень абстракции.
Полная модель содержит также ряд дополнительных классов. В частности, построенные по принципу связанного списка классы Contours для хранения контуров постоянного значения и ImgStack, производящий усреднение некоторого количества последовательных кадров для снижения уровня шумов, а также класс DimDialog, ответственный за вывод элементов графического пользовательского интерфейса, необходимых для калибровки реальных размеров объектов. Все зависимости программы от внешних библиотек показаны на рис.3.
Клинические испытания
На основе разработанной модели была создана конкретная реализация опытного образца системы визуализации флюоресценции – прибор "Флюовизор". В приборе использована цифровая монохромная камера с разрешением 752×582 пикселов, использующая интерфейс USB2.0. В качестве персонального компьютера использован ноутбук низшего ценового сегмента с двухъядерным процессором семейства Intel Celeron B800. Применение описанных подходов к разработке программного обеспечения позволило добиться работы системы в режиме "реального времени" (фактически, в режиме обновления изображений на экране с частотой 30 fps) даже на такой аппаратной платформе.
Опытный образец прошел клинические испытания в НИИ онкологии им.Н.Н.Петрова, где использовался для визуализации при диагностике и лечении базальноклеточного рака кожи методом ФДТ при облучении опухоли полупроводниковым лазером с длиной волны излучения λ = 665 нм. В качестве фотосенсибилизатора использовался препарат "Фотодитазин".
На рис.4 показана реальная картина распределения флюоресценции. На рис.5 представлена картина пространственного распределения флюоресценции в псевдоцвете. При этом опухоль выделяется красным цветом, предоставляя четкую визуализацию границ опухоли, а также их изменение со временем в процессе сеанса ФДТ.
На рис.6 представлена визуализация участка полного кадра с пораженной областью в виде псевдотрехмерного распределения интенсивности флюоресценции по координатам. Также показана найденная граница опухоли, отображаемая красной линией на исходном изображении и белой линией на трехмерной картинке.
Приведенные примеры иллюстрируют возможности по интерпретации реальных изображений, которые предоставляет пользователю разработанное программное обеспечение.
Такая форма представления данных наглядно показывает, в частности, распределение концентрации фотосенсибилизатора и ее динамическое изменение во времени, позволяет более дозированно и направленно обеспечивать облучение ткани лазером для оптимального проведения процедуры лечения методами ФДТ.
Заключение
В результате выполнения работы создано программное обеспечение для системы визуализации пространственного распределения флюоресценции при диагностике и лечении методами фотодинамической терапии. Разработана объектно ориентированная архитектура системы визуализации, произведен выбор оптимального варианта конкретной реализации с активным использованием сторонних библиотек с открытым исходным кодом. Изготовлен опытный образец системы визуализации, включающий аппаратную часть и программное обеспечение. Образец успешно прошел клинические испытания.
К настоящему времени в ООО "Аткус" разработана и успешно внедрена в серийное производство линейка медицинских лазерных аппаратов серии "Латус". Аппараты характеризуются уникальной схемой суммирования излучения полупроводниковых лазеров, современной элементной базой, использованием высокоэффективных мощных лазерных диодов. Кроме того, ООО "Аткус" предлагает систему визуализации флюоресценции фотосенсибилизаторов, торговое наименование "Флуовизор".
Работа выполнена в рамках проекта по развитию кооперации российских вузов и производственных предприятий (договор № 13.G25.31.0055). По результатам работы направлена заявка на патент на устройство визуализации флюоресценции фотосенсибилизаторов при диагностике и лечении методом ФДТ. Авторы выражают благодарность М. Л. Гельфонду за помощь в проведении клинических испытаний системы.
Литература
Loschenov V. B., Steiner R. – Proceeding SPIE, 1994, v, 2325, p.144.
Воробьев Л. Е., Софронов А. Н., Фирсов Д. А., Демидов Д. М., Леус Р. В., Свердлов М. А., Тер-Мартиросян А.Л. Лазерные диоды для фотодинамической терапии. – Научно-технические ведомости СПбГПУ. Физико-математические науки, 2011, № 2 (122), с. 80–84.
Гради Буч. Объектно-ориентированный анализ и проектирование с примерами приложений. – 3-е изд./ Пер. с англ. – М.: ООО "И.Д.Вильямс", 2008.
URL: https://github.com/ofTheo/videoInput.
Bradski G., Kaehler A. Learning OpenCV. – O’Reilly, 2008. ISBN: 978–0–596–51613–0.
Отзывы читателей
