Bone age estimation Predviđanje koštane dobi Napovedovanje starosti kosti

The manual process of analyzing medical imaging data, such as x-rays, CT, and MRI scans, is a time-consuming task for medical doctors. Several machine learning-based methods were applied to radiographs for prediction, classification, regression, and recognition tasks to aid physicians. One of such tasks is estimating bone age, which is immensely used to monitor and assess children's health to diagnose potential mismatch between chronological and skeletal age. This can indicate endocrinological disorders, nutritional deficits, diseases, or can happen due to some medications. Thus, the task of estimating skeletal maturity is commonly used to evaluate disease progression and evaluation of therapy. In addition, bone age estimation is used to determine the age of asylum seekers. Assessing skeletal maturity is often conducted on hand and wrist radiographs as the hand and wrist possess many bones that ossify at different time points and the ease of taking radiographs of the hand. Postupak analize medicinskih slikovnih podataka, kao što su rendgenski snimci, CT i MR skeniranje može predstavljati zahtjevan zadatak za liječnike. Nekoliko metoda temeljenih na strojnom učenju primijenjivo je na rentgenogramu za predviđanje, klasifikaciju, regresiju i prepoznavanje zadataka kako bi se pomoglo liječnicima specijalistima u donošenju kliničke odluke. Jedan od takvih zadataka je procjena koštane dobi, koja se učestalo koristi za praćenje i procjenu dječjeg zdravlja kako bi se dijagnosticirala potencijalna neusklađenost između kronološke i koštane dobi. To može ukazivati na endokrinološke poremećaje, prehrambene deficite, bolesti ili pak nuspojave određenih lijekova. Stoga se zadatak procjene zrelosti kostiju obično koristi za procjenu napredovanja određenih bolesti i procjenu terapije. Uz to, procjena starosti kostiju ima pravne implikacije utoliko što može poslužiti za određivanje dobi tražitelja azila. Procjena zrelosti kostura često se provodi na rentgenogramima ruku i zglobova, jer šaka i zglob su jednostavni za snimanje te posjeduju mnogobrojne kosti koje okoštavaju u različitim vremenskim točkama. Ročni postopek analiziranja medicinskih slik, kot so rentgenski, CT in MRI posnetki, je časovno potratna naloga za zdravnike. V radiografiji je bilo uporabljenih več na strojnem učenju temelječih metod za napovedovanje, klasifikacijo, regresijo in prepoznavo, ki služijo kot pomoč. Ena izmed takih nalog je ocenjevanje kostne starosti, ki se uporablja za spremljanje in ocenjevanje zdravja otrok za diagnosticiranje morebitnih neskladnosti med kronološko in skeletno starostjo. To lahko kaže na endokrinološke motnje, prehranske pomanjkljivosti, bolezni ali se lahko zgodi zaradi nekaterih zdravil. Tako se naloga ocenjevanja starosti kosti pogosto uporablja za ocenjevanje napredovanja bolezni in vrednotenje terapije. Poleg tega se uporablja za določitev starosti prosilcev za azil. Napovedovanje starosti kosti se pogosto izvaja na rentgenskih slikah rok in zapestja, ker imata roka in zapestje številne kosti, ki v različnih časovnih točkah okostenejo, in zaradi enostavnosti izvajanja rentgenskih posnetkov roke.

We aimed to research the area and develop a method to determine the skeletal age of children given pediatric hand radiographs. Several researchers have already tackled this challenge, showing that neural networks are effective in areas of image recognition and can have accuracy similar to a trained radiologist. Cilj nam je bio istražiti područje i razviti metodu za određivanje koštane dobi djece. Nekoliko je istraživača već riješilo ovaj izazov, pokazavši da su neuronske mreže učinkovite u područjima prepoznavanja slike i mogu imati točnost sličnu obučenom radiologu. Naš cilj je bil raziskati področje in razviti metodo za določanje starosti kosti otrok na podlagi rentgenskih slik. Številni raziskovalci so se tega izziva že lotili in pokazali, da so nevronske mreže učinkovite na področjih prepoznavanja slik in imajo lahko natančnost, ki se lahko približa usposobljenemu radiologu.

I. Data exploration I. Istraživanje podataka I. Raziskovanje podatkov

For the research we used data provided by the Radiological Society of North America . The dataset contains 12,611 digital and scanned radiograph images labeled with age, ranging from 1 to 288 months. Data is not evenly distributed among different age groups. The data set is relatively balanced between males and females. Za istraživanje smo koristili podatke Radiološkog društva Sjeverne Amerike. Skup podataka sadrži 12.611 digitalnih i skeniranih radiografskih slika s oznakom starosti, u rasponu od 1 do 288 mjeseci. Podaci nisu ravnomjerno raspoređeni među različitim dobnim skupinama. Skup podataka je relativno uravnotežen između muškaraca i žena.rv Za raziskavo smo uporabili podatke Radiološkega društva Severne Amerike. Nabor podatkov vsebuje 12.611 digitalnih in optično prebranih radiografskih slik, označenih s starostjo od 1 do 288 mesecev. Podatki niso enakomerno porazdeljeni med različne starostne skupine. Nabor podatkov je razmeroma uravnotežen med moškimi in ženskami.

II. Data preprocessing II. Predobrada podataka II. Predprocesiranje podatkov

As the x-ray dataset comes from various sources, there are variations in image resolution, zoom, and contrast. Therefore, a preprocessing step of image resizing and histogram equalization was taken to normalize the data and obtain images with similar contrasts. Simple histogram equalization did not perform well as it, in many cases, reduced the visibility of bone ossification. Thus, CLAHE (Contrast Limited Adaptive Histogram Equalization) was used, which enhances contrast locally while limiting noise amplification. Kako rentgenski skup podataka dolazi iz različitih izvora, postoje razlike u razlučivosti slike, uvećanju i kontrastu. Učinjen je korak predobrade za promjenu veličine slike i izjednačavanje histogramov. Jednostavno izjednačavanje histograma nije uspjelo, jer je u mnogim slučajevima smanjilo vidljivost okoštavanja kostiju. Stoga je korišten CLAHE (Contrast Limited Adaptive Histogram Equalization), koji lokalno povećava kontrast, a ograničava pojačavanje šuma. Ker rentgenski nabor podatkov prihaja iz različnih virov, obstajajo razlike v ločljivosti slike, povečavi in kontrastu. Zato so bili podatki prečiščeni s pomočjo obdelave velikosti slike in izenačitve histogramov. Preprosto izenačevanje histogramov se ni dobro izkazalo, saj je v mnogih primerih zmanjšalo vidnost okostenelosti kosti. Zato je bil uporabljen CLAHE (Contrast Limited Adaptive Histogram Equalization), ki lokalno poveča kontrast, hkrati pa omejuje ojačanje hrupa.

III. Deep learning III. Duboko učenje III. Globoko učenje

Instead of randomly initializing the weights of convolutional neural network architecture, we used transfer learning. We used VGG16 and MobileNet. We researched how developed models work for the regression task of predicting bone age based on x-ray image input. In addition, we evaluated the performance of classification of children's x-rays into three bone ossification groups, i.e., pre-puberty, puberty, post-puberty, created based on medical expert knowledge. Umjesto da nasumično inicijaliziramo težine konvolucijske neuronske mreže, koristili smo učenje transfera. Koristili smo VGG16 i MobileNet. Istražili smo kako razvijeni modeli rade za regresijski zadatak predviđanja starosti kostiju na temelju unosa rendgenske slike. Uz to, procijenili smo izvedbu klasifikacije u tri skupine okoštavanja kostiju - prije puberteta, puberteta i postpuberteta - stvorene na temelju medicinskog stručnog znanja. Namesto da bi naključno inicializirali uteži konvolucijske nevronske mreže, smo uporabili dodatno učenje. Uporabili smo VGG16 in MobileNet. Raziskovali smo, kako delujejo razviti modeli za regresijsko nalogo napovedovanja starosti kosti na podlagi rentgenskih posnetkov. Dodatno smo evalvirali uspešnost klasificiranja otroških rentgenskih posnetkov v tri skupine okostenelosti kosti - predpubertetno, pubertetno in postpubertetno - ustvarjeno na podlagi medicinskega strokovnega znanja.

Transfer learning using VGG16 without preprocessed images resulted in the mean absolute error of 40.2 months, while transfer learning using MobileNet resulted in 25.15 months. The best results were achieved using MobileNet-based transfer learning with preprocessed images using CLAHE, with a mean absolute error of 21.42 months. Classification into three groups using MobileNet gave prediction accuracy of 94%. Prijenos učenja pomoću VGG16 bez prethodno obrađenih slika rezultirao je srednjom apsolutnom pogreškom od 40,2 mjeseca, dok je učenje s prijenosom koristeći MobileNet rezultiralo s 25,15 mjeseci. Najbolji rezultati postignuti su korištenjem učenja prijenosa zasnovanog na MobileNetu s unaprijed obrađenim slikama korištenjem CLAHE, sa srednjom apsolutnom pogreškom od 21,42 mjeseca. Klasifikacija u tri skupine pomoću MobileNeta dala je točnost predviđanja od 94%. Dodatno učenje z uporabo VGG16 brez predhodno obdelanih slik je dosegla povprečno absolutno napako 40,2 meseca, medtem ko je dodatno učenje na MobileNet doseglo 25,15 meseca. Najboljši rezultati so bili doseženi z dodatnim učenjem na osnovi MobileNet s predhodno obdelanimi slikami z uporabo metode CLAHE s povprečno absolutno napako 21,42 meseca. Klasifikacija v tri skupine z uporabo MobileNet je podala 94% natančnost napovedovanja.