Google’ın tıbbi yapay zekası doktorlardan daha iyi performans gösterdi

Google, sağlık sektörü için özel olarak tasarlanan Gemini üzerine inşa edilmiş bir multimodal (çok modlu; metin, görse vb.) model ailesi olan Med-Gemini‘yi tanıttı. Modeller henüz halka açık veya beta testi için kullanılamazken, teknoloji devi arXiv’de son derece ayrıntılı bir araştırma makalesi yayınlandı. Detaylı örnekler ve kıyaslamalar gösteriyor ki Google Med-Gemini, diğer yapay zekalardan ve gerçek doktorlardan daha üstün performans gösteriyor.

Tıbbi yapay zekalar geliyor

İnsan doktorlar, her gün ihtiyaçları ve tedavileri birbirinden farklı çok sayıda hastayı tedavi ediyor. En uygun tedavi için doktorların, hastalarının önceki sağlık kayıtlarına da hakim olması gerekiyor. Bunun yanında güncel tedavilere de aşina olunması gerekiyor. Olayın bir de doktor-hasta ilişkisi tarafı bulunuyor. Kısacası doktorluk, kolay bir meslek değil. Öte yandan yapay zeka ve tıbbın kesişimi ise oldukça hızlı bir şekilde gelişiyor. Bunun son örneği ise tıp alanında uzmanlaşmış gelişmiş yapay zeka modelleri ailesi Google Med-Gemini.

Google Med-Gemini’nin dikkat çekici bir özelliği, sağlık kayıtlarının ve araştırma makalelerinin daha iyi işlenmesini sağlayan uzun bağlam yeteneği. Bu uzun bağlam yeteneği modellere saatler süren video veya onlarca saatlik ses gibi büyük miktarlardaki verilerden tutarlı çıkarımlar yapmasına olanak tanıyor. Ayrıca, tüm yapay zeka modelleri çok modlu yapıda; metin, görüntü ve video çıktıları sağlayabiliyorlar.

Med-Gemini ailesi adından da anlaşılacağı üzere mevcuttaki Gemini modellerinin üzerine inşa edilmiş durumda ancak tıp odaklı ince ayarlamalara da sahipler. Med-Gemini ailesinde dört farklı model bulunuyor: Med-Gemini-S 1.0, Med-Gemini-M 1.0, Med-Gemini-L 1.0 ve Med-Gemini-M 1.5.

Google, Med-Gemini ile daha gelişmiş klinik muhakeme sağlamak için web tabanlı aramaya erişimi de dahil etmiş durumda. Ayrıca Med-Gemini, tıbbi bilgi ve muhakemeyi test etmek için tasarlanmış ABD Tıp Lisans Sınavı (USMLE) sorularını temsil eden çoktan seçmeli sorular olan MedQA üzerinde eğitilmiş durumda.

Her kriterde GPT-4’ü geçiyor

Med-Gemini, test edildiği 14 tıbbi kriterin tamamında OpenAI’ın en gelişmiş ailesi olan GPT-4’ü geçmeyi başarıyor. Bu kriterlerin 10 tanesinde ise alınan en yüksek dereceyi alma başarısı gösteriyor. Bu da insan doktorların geçildiği anlamına geliyor. Bildirildiğine göre Med-Gemini-L 1.0, MedQA’da (USMLE) yüzde 91.1 doğruluk oranı ile selefi Med-PaLM 2’den yüzde 4.5 daha iyi performans sergiliyor.

Med-Gemini ayrıca 10 kişilik bir listeden tanı konulan zorlu klinik vakaların görüntülerini içeren NEJM de dahil olmak üzere 7 adet multimodal karşılaştırmada GPT-4’ten ortalama yüzde 44,5 daha iyi performans gösterdi. Med-Gemini, yoğun bakıma kabul edilen hastaların kimliksizleştirilmiş sağlık verilerini içeren, halka açık büyük bir veritabanı olan MIMIC-III’te tarama yapma konusunda da üstün başarı sergiledi. Buradaki hasta kayıtlarındaki bilgiler son derece uzun olabiliyor. Ayrıca yazım yanlışı, kısaltmalar gibi hata oranını artıracak faktörler de var. Buna rağmen model istenen görevleri başarıyla yerine getirdi.

Med-Gemini, bilim insanlarına göre mevcut haliyle “umut verici” bir araştırmadan ibaret. Yapılan gerçek dünya testlerinde hem hasta hem de doktor taleplerini doğru bir şekilde yerine getirebilse de araştırmacılar daha fazla çalışmaya ihtiyaç olduğunun altını çiziyor. Bununla birlikte aracın mevcut haliyle bile doktorlara önemli zaman tasarrufu sağlayabileceği de kabul ediliyor.