Çok Modlu Algılama ile Gerçek Zamanlı Otomatik Doku Perfüzyonu Takibi


Çevik K. K. (Yürütücü)

TÜBİTAK Projesi, 2024 - 2025

  • Proje Türü: TÜBİTAK Projesi
  • Başlama Tarihi: Temmuz 2024
  • Bitiş Tarihi: Temmuz 2025

Proje Özeti

Kızılötesi termografi, yanık hastalarında, dermatolojik durumlarda ve ayrıca plastik cerrahide cilt perfüzyonunun değerlendirilmesi gibi klinik uygulamalar için kullanılabilen bir görüntüleme yöntemidir. Doku perfüzyonu, özellikle plastik cerrahlar için rekonstrüktif serbest doku transplantasyonu sonrası takipte önemli bir konu olup, ameliyatta yapılan mikrovasküler bağlantıların başarısızlığı, yeterince erken tespit edilmediği takdirde, nakledilen dokularda onarılamaz hasara veya ölüme neden olabilir. Bu durum düzeltici cerrahi ihtiyacına yol açar ve ek maliyetler ile sonuçlanabilir. Bu nedenle cerrahi işlem sonrası 48-72 saat boyunca sürekli olarak ilgili bölge için kanama, renk ve sıcaklık değişimi ve turgorun (şişkinlik, sertlik) gibi özelliklerin standart izlemesi yapılır. Ancak bu işi gerçekleştirecek personelin yorgun veya aşırı iş yükü altında çalışması gibi etkenler olumsuz durumların tespitinde gecikmelere yol açabilmektedir. Bu çalışmada, flep bölgelerinin sürekli gözetimsiz izlenmesi ve olası komplikasyonların erken tespiti için otomatik bir cerrahi işlem sonrası cihazın tasarımı ve geliştirilmesi amaçlanmaktadır. Önerilen sistem, Termal IR (Kızılötesi), RGB ve lazer görüntüleme, algılama ve mesafeleme (LİDAR) gibi tamamlayıcı algılama yöntemlerinden alınacak görüntüleri birleştirecek, yapay zeka ve derin öğrenme algoritmaları yardımıyla skorlama, sınıflandırma ve bölütleme gerçekleştirecek ve sonuçta doku perfüzyonu ile ilgili bir tespit kararı sunacaktır. Flep uyum probleminin çözümünde; Flep skoru tahmini için Uzun-Kısa Süreli Bellek (Long short-term memory - LSTM), flep uyum sınıflandırması için evrişimli sinir ağları (Convolutional Neural Network - CNN) ve bölütleme için güncel semantik bölütleme algoritmalarından yararlanılacaktır. Ayrıca sistemin ön testleri için literatürde sıklıkla kullanılan skorlama, sınıflandırma ve semantik bölütlemeyi aynı anda tek modelde gerçekleştirebilme özelliğine sahip olan Mask RCNN yönteminden de yararlanılacaktır. Tasarlanan çok modlu görüntüleme sistemine veri sağlama işlemi ilk aşamada gönüllüler ile yapılacaktır. Gönüllünün bir koluna toplam 5 dakika süreyle turnike uygulanarak arteriyel yetmezlik oluşturulacaktır. RGB, Termal IR ve LIDAR kameralar kullanılarak her bir hasta için ilgili bölgenin görüntüleri eş zamanlı olarak alınacak ve veri setine eklenecektir. Elde edilen veri seti ile tasarlanacak derin sinir ağı mimarileri test edilecek ve başarı oranları değerlendirilecektir. Önerilen sistemin sınıflandırma ve bölütleme başarımlarını ölçmek için karmaşıklık matrisi, doğruluk, hassasiyet, F1 Skoru, mAP ve IoU gibi performans metrikleri kullanılacaktır. Sistemin oluşturulan veri setleri ile başarıya ulaşmasından sonra hastalar üzerinde alınacak görüntüler ile sistem yeniden eğitilecek ve gerçek zamanlı testler de yapılacaktır. Sistemin başarılı olmasıyla, doku perfüzyonunun izlenmesi ve tespitinde karşılaşılan insan kaynaklı hataların azalacağı ve ameliyat sonrası bakım maliyetinin önemli ölçüde düşeceği düşünülmektedir.