Добрый день, уважаемое хабра-сообщество!
Сегодня мне бы хотелось пролить свет на одну из самых неосвещённых тематик на хабре. Речь пойдёт о визуализаторе медицинских радиологических изображений или DICOM Viewer"е. Планируется написать несколько статей, в которых поговорим об основных возможностях DICOM Viewer"а - в том числе возможности воксельного рендера, 3D, 4D, рассмотрим его устройство, поддержку протокола DICOM и др. В этой статье я расскажу о воксельном рендере и его устройстве. Всем заинтересовавшимся добро пожаловать под кат.
Одним из наших продуктов является DICOM Viewer - просмотрщик медицинских изображений формата DICOM. Он умеет рендерить 2D изображения, строить 3D модели на основе 2D слайсов, а также поддерживает операции как для 2D изображений, так и для 3D моделей. Об операциях и возможностях Viewer"а я напишу в следующей статье. В конце статьи будут указаны ссылки на сам DICOM Viewer с полным функционалом, который описан в статье и на данные для проб. Но всё по порядку.
Информацию о плотности в DICOM-файле можно представить в виде обычного изображения, у которого есть разрешение, размер пикселя, формат и другие данные. Только вместо информации о цвете в пикселе храниться информация о плотности тканей.
Диагностическая станция производит не один файл, а сразу несколько для одного исследования. Эти фалы имеют логическую структуру. Файлы объединяются в серии и представляют собой набор последовательных срезов какого-либо органа. Серии объединяются в стадии. Стадия определяет всё исследование. Последовательность серий в стадии определяется протоколом исследования.
На графике обозначены две точки белого цвета на концах белой линии, что говорит о том, что будет рисоваться только белый цвет. Линия, соединяющие точки, обозначает непрозрачность (opacity), т.е. менее плотные ткани отрисовываются более прозрачными пикселями. Таким образом белый цвет плюс соответствующее значение непрозрачности даёт градации белого, что и видно на картинке. В данном примере показана относительная передаточная функция, поэтому по оси абсцисс отложены проценты. Синим цветом на графике показано распределение плотностей тканей, где каждому значению плотности соответствует количество пикселей (вокселей), приходящихся на данную плотность.
В нашем рендере происходит отрисовка белого цвета с соответствующей прозрачностью на чёрном фоне, чёрный цвет никогда не отрисовывается. Такая схема удобна при отрисовке 3D-модели - воздух имеет небольшую плотность, следовательно отрисовывается прозрачным, поэтому при наложении слайсов через воздух наложенного изображения будет видно нижнее. К тому же, если бы цвет имел не константную характеристику, а линейную (чем характеризуется переход от чёрного цвета к белому), то при перемножении цвета на прозрачность (которая также имеет линейную характеристику) получилась бы квадратичная характеристика, которая отражала бы цвет иначе, что не является верным.
Передаточные функции разделяются по типу на абсолютные и относительные. Абсолютная передаточная функция строится для всех возможных плотностей. Для КТ это шкала Хаунсфилда (от -1000 до ~3000). Плотность равная -1000 соответствует воздуху, плотность, равная 400, соответствует костям, нулевая плотность соответствует воде. Для плотностей по шкале Хаунсфилда верно следующее утверждение: каждая плотность соответствует определённому типу ткани. Однако для МРТ это утверждение не верно, поскольку МР-томограф для каждой серии генерирует собственный набор плотностей. То есть для двух серий одна и та же плотность может соответствовать разным тканям тела. В абсолютной передаточной функции аргументы соответствуют абсолютным значениям плотности.
Относительная передаточная функция строится на основе так называемого окна, которое указывает какой именно диапазон плотностей нужно отрисовывать. Окно определяется параметрами Window Width (W) и Window Center (L), рекомендуемые значения которых задаются томографом и сохраняются в файлы-снимки в соответствующих DICOM-тэгах. Значения W и L могут быть изменены в любой момент. Таким образом, окно ограничивает область определения передаточной функции. В относительной передаточной функции аргументы соответствуют относительным значениям, заданным в процентах. Пример передаточной функции показан на рисунке выше со шкалой в процентах от 0 до 100.
Как в случае абсолютной, так и в случае относительной передаточной функции возможны случаи, когда передаточная функция покрывает не все плотности, содержащиеся в файле-снимке. В этом случае все плотности, которые попадают справа от передаточной функции принимают значения самого правого значения передаточной функции, а плотности слева - самого левого значения передаточной функции соответственно.
Пример абсолютной передаточной функции, в которой плотность задана в абсолютных значениях по шкале Хаунсфилда:
Вот пример более сложной передаточной линейной функции, окрашивающей плотности в несколько цветов:
Как и на предыдущем рисунке прозрачность имеет линейную характеристику. Однако для конкретных плотностей заданы цвета. Помимо цвета каждая из этих точек определяет прозрачность (в соответствии с белой линией на графике). В случае 3D-модели каждая из точек также хранит отражательные компоненты. Между конкретных точек производится интерполяция отдельно для каждой компоненты, включая прозрачность, RGB, отражательные компоненты, получая таким образом значения для остальных плотностей.
Прозрачность в передаточной функции не обязательно должна быть линейной. Она может быть любого порядка. Пример передаточной функции с произвольной прозрачностью:
Помимо прочего, на каждом 2D-изображении отрисовывается информация об изображении. В правом нижнем углу рисуется куб ориентации, по которому можно понять как расположен пациент в данном изображении. H – head (голова), F – foot(ноги), A – anterior (анфас), P – posterior(спина), L – left(левый бок), R – right(правый бок). Эти же буквы дублируются в середине каждой из сторон. В левом нижнем и правом верхнем углах для врачей-ренгенологов отображается информация о параметрах томографа, с которыми было получено данное изображение. Также справа рисуется линейка и масштаб одного деления соответственно.
В VVL реализован весь процесс отрисовки, начиная с построения модели и заканчивая генерированием 2D изображения. Есть такие фишки как ресэмплинг, антиалиасинг, полупрозрачность.
По сути, воксель является полным аналогом пикселя в 3D. Pixel (англ. picture element) - элемент изображения,Voxel (англ. volume element) – элемент объёма. Практически все характеристики пикселя переносятся на воксель, поэтому можно смело проводить аналогии, учитывая размерность. Таким образом, воксели используются для представления трёхмерных объектов:
На скриншоте можно разглядеть маленькие кубические воксели. Для хранения плотности в вокселе используется 2х байтовое число. Поэтому можно вычислить размер модели: 2 байта на плотность * количество вокселей. Некоторые воксельные рендеры, помимо сказанного, хранят в вокселе информацию для рендеринга, что требует дополнительной памяти. Практически нами было установлено, что это нецелесообразно и нужные данные выгоднее вычислять «на лету», чем хранить лишние байты.
Поскольку протоколом DICOM чётко не декларируется, в каком тэге хранится величина расстояния между изображениями в серии, приходится вычислять расстояние между изображениями по другим данным. Так, каждое изображение имеет координаты в пространстве и ориентацию. Этих данных достаточно, чтобы определить расстояние между изображениями. Таким образом имея разрешение изображения и расстояние между ними в серии, можно определить размер вокселя. Разрешение изображения по X и Y, как правило, одинаковое, т.е. пиксель имеет квадратную форму. А вот расстояние между изображениями может отличаться от этого значения. Поэтому воксель может иметь форму произвольного параллелепипеда.
Для простоты реализации и удобства работы мы делаем ресемплинг для величины плотности, используя бикубическую фильтрацию (фильтр Митчелла), и получаем кубическую форму вокселя. В случае, если размер пикселя меньше расстояния между слайсами, то мы добавляем слайсы (supersampling), а если размер пикселя больше, то убираем слайсы (downsampling). Таким образом размер пикселя становится равным расстоянию между слайсами и мы можем построить 3D-модель с кубической формой вокселя. Проще говоря, мы подгоняем расстояние между изображениями к разрешению изображения.
Полученные воксели хранятся в структуре, представляющей собой массив, оптимизированный под доступ в произвольном направлении движения, в случае отрисовки на процессоре. Массив разбит логически на параллелепипеды, хранящиеся в памяти непрерывным куском размером ~1,5кб при размере вокселя 2 байта, что позволяет поместить несколько близко расположенных параллелепипедов в кэш процессора первого уровня. Каждый параллелепипед хранит 5х9х17 вокселей. Исходя из размера такого параллелепипеда рассчитываются координаты смещений в общем массиве вокселей и сохраняются в 3 отдельные массива xOffset, yOffset, zOffset. Поэтому обращение к массиву происходит так: m + yOffset[y] + zOffset[z]]. Таким образом, начиная читать данные в параллелепипеде, мы заставляем процессор положить весь параллелепипед в кэш процессора первого уровня, что ускоряет время доступа к данным.
В случае рендеринга на GPU используется специальная трёхмерная структура в графической памяти видеокарты, называемая 3D-текстурой, доступ к вокселям в которой оптимизируется средствами видеоадаптера.
В качестве модели освещения используется
Часто возникает вопрос: если результаты МРТ или КТ выдали на диске, как посмотреть снимки? Ведь в последнее медицинские центры все чаще прибегают к выдаче снимков на CD или DVD, и это лучше, чем иметь снимки на пленке. Почему — можно . Так как же посмотреть снимки МРТ и КТ с диска, с помощью какой программы?
Файлы КТ или МРТ исследования на диске записаны в специальном формате DICOM, и он не открывается обычными программами просмотра картинок. DICOM — это формат медицинских изображений, где в каждый файл помимо собственно картинки «вшита» другая информация — имя пациента, его возраст, номер снимка, обозначения режимов сканирования и т.п.
Чтобы открыть снимки с CD диска, Вам понадобится специальная программа — DICOM-вьюер. Таких программ много, платных и бесплатных. Самая удобная из бесплатных программ — Radiant DICOM Viewer . Скачать ее можно . Эта программа умеет открывать совершенно любые медицинские снимки в формате DICOM, например МРТ, КТ, ПЭТ-КТ, рентген, маммографию, ангиографию и т.д.
Чтобы открыть снимки программой Radiant , нужно скопировать все содержимое диска в папку на компьютере, затем зайти в программу, нажать в левом верхнем углу кнопку Scan folder for DICOM files и выбрать эту папку. Подробнее про работу программы можно почитать .
Лучшая из программ для MAC-OS — это Osirix . Скачать бесплатную версию для настольного компьютера можно . Версия Osirix для iPhone и iPad продается в Apple Store или .
Часто МРТ или КТ записывается на диск уже с программой-вьюером. В таком случае не нужно отключать автозапуск на своем компьютере, и программа просмотра запустится автоматически. К недостатку таких программ относится то, что ими, как правило, не очень удобно пользоваться. Поэтому советуем Вам все же установить Radiant .
Помните, что даже не исключает врачебной ведь достоверность диагностики напрямую зависит от умения врача расшифровать снимки. Поэтому при сомнениях в диагнозе врачи рекомендуют получить Второе мнение - расшифровку МРТ или КТ у рентгенолога экспертного уровня с целью подтверждения или опровержения диагноза, а также более точного и детального описания снимков. В России действует Национальная телерадиологическая сеть — служба дистанционных консультаций, с помощью которой любой человек может обратиться к ведущим диагностам из Москвы или Санкт-Петербурга, отправить им файлы исследования и получить квалифицированное описание. Особенное значение такая консультация имеет при онкологических, неврологических и других сложных заболеваниях.
Вы получили результаты обследования (КТ, МРТ или УЗИ), записанные на диск, и не знаете, как открыть снимки? Не волнуйтесь, это очень просто! Формат, в котором записываются результаты сканирования, называется DICOM (*.dcm). DICOM или Digital Imaging and Communications in Medicine был придуман компанией Nema (National Electrical Manufacturers Association) для просмотра медицинских изображений, их редактирования и обмена между врачами и пациентами.
На сегодняшний день существует несколько программ, которые позволяют открыть и просматривать снимки в формате DICOM. Но какой программой пользоваться максимально удобнее? Давайте рассмотрим преимущества и недостатки самых популярных программ.
1. Sante Dicom Viewer 4.0 – отличная программа для просмотра DICOM файлов. Работает со снимками, полученными на КТ, МРТ и УЗИ. Программу можно скачать бесплатно на официальном сайте , но доступ ко многим важным функциям открывается только после покупки лицензии.
2. Программа RadiAnt DICOM Viewer также позволяет просматривать и редактировать снимки формата DICOM. Программа доступна для персонального использования в ознакомительных целях.
Преимущества программы: |
Недостатки: |
|
|
Преимущества программы: |
Недостатки: |
|
|
В зависимости от Ваших потребностей Вы можете воспользоваться любой из предложенных программ. Также Вы можете отдать предпочтение другой утилите, найденной в Интернете, ведь мы перечислили только те программы для просмотра снимков DICOM, которые, на наш взгляд, являются самыми востребованными.
Читайте также: .Изменения в версии 1.8.6 Final
Below you will find a list of new features:
Multi-touch support for Windows 8 touch-enabled devices:
Use one finger to browse images of the series (or perform other function selected from the toolbar).
Use two fingers to pan and zoom (pinch) images.
Use three fingers to change window settings (brightness/contrast).
Time-Intensity Curve generation (CTRL + SHIFT + E).
Export files in DICOM format.
Zoom & pan synchronization.
Window settings (WW/WL) synchronization.
New controls for Cine mode, overlayed at the bottom of the screen when mouse hovers over image.
Cine auto start for US and XA series.
Edit ROIs:
Copy selected ROI (CTRL + C)
Copy all ROIs in displayed image (CTRL + SHIFT + C)
Paste ROI(s) in the same or in different image (CTRL + V)
Duplicate ROI in corresponding series (CTRL + SHIFT + D)
Duplicate ROI in all images of the series (SHIFT + ALT + D)
Delete ROIs in all visible images (SHIFT + DEL)
Open quickly multiple series (F4).
Change color scale in fusion images (click color bar).
Change fused image opacity (left mouse button down and drag over color bar).
Maximize/restore panel (button/double click on image/CTRL + M), you can switch between opened series in maximized panel using TAB.
Anonimize all visible patient data (SHIFT + F12).
Tools can be assigned to the middle mouse button (with WL/WW adjustment default).
Open DICOM folder in RadiAnt using right-click context menu on a folder in windows explorer.
Command line parameter -b shows expanded folder tree, lets user choose a subfolder to be scanned for DICOM files.
New command-line parameter "-cl" closes all running instances of RadiAnt DICOM Viewer.
Improvements and bug fixes:
Significant reduction of CD/DVD loading times (up to 3x faster).
Improved multiframe DICOM file reading from CD/DVD.
Detection of CD/DVD/Flash removal.
Toggle series preview bar visibility (CTRL+SHIFT+F4).
Toggle toolbar and status bar visibility (CTRL+SHIFT+F3).
Toggle ROI visibility (ALT+F12).
Change ROI label font size (CTRL+SHIFT+PLUS/MINUS).
Hold SHIFT during ellipse drawing to make it a circle, hold it while drawing a segment to make it horizontal or vertical.
Hold CTRL during ellipse drawing to show actual DICOM pixels area (only when image is magnified).
Ellipse ROI label shows actual DICOM pixels number used for calculations.
Close all panels (SHIFT + F4).
Click panel close button with CTRL pressed to clear the panel instead of closing it.
Options.xml file (ProgramData/RadiAntViewer folder in Windows7) - change default options (currently only by manual editing).
Zoom-to-region mode for zooming tool (available in options.xml).
Off-center zooming (retains desired image region visibility during zooming - available in options.xml).
Scroll wrapping can be disabled in options.xml file.
Added WW/WL presets for modalities other than CT.
Status bar shows remaining files during folder scan.
Displayed info about lossy compression of DICOM images (left top corner, below series number).
CTRL + C copies value to clipboard in DICOM tags window.
Improved support for images with VOI LUT defined.
Fixed a rare crash caused by images with "RAW" modality.
Fixed display of certain US images (e.g. Philips US systems, GE Vivid 7).
Fixed default cine rate setting (FPS).
Fixed problem with opening zip files that have non-standard characters in a filename.
Compatibility with Windows Server 2008 system was improved by removing the dependency on wmvcore.dll library.
Other minor features and bug fixes.