Dağıtık sistemlerde seyrek işlemlerin ölçeklenebilirliği için doğru iletişim ölçütlerinin optimizasyonu
Cevdet Aykanat (Bilkent Üniversitesi)
Düşük hesaplama yoğunluklarından dolayı seyrek işlemlerin büyük-ölçekli sistemlerde ölçeklenebilmesi zor olmaktadır. Bu işlemlerin içerdiği seyrek matrisleri iletişim maliyetlerini düşürmek amacıyla bölümlemek verimli paralelizasyon için yaygın kullanılan bir yaklaşımdır. Var olan birçok yaklaşım hesaplama yükünü dengelerken toplam iletişim maliyetlerini eniyilemeyi hedef almaktadır. Buna karşın, farklı seyrek matris işlemlerinin farklı iletişimsel gerekleri olduğundan farklı iletişim ölçütlerinin de göz önünde bulundurulması gerekmektedir. Bu amaçla, farklı seyrek işlemlerin belirli iletişim gereklerini karşılayacak tümleşik (combinatorial) model ve teknikleri tartışacağız. Seyrek matris vektör çarpımı (SyMV) içeren seyrek yöntemler için özellikle güçlü ölçekleme (strong scaling) esnasında kritik öneme sahip olan gecikim (latency) maliyetlerinin eniyilenmesini önermekteyiz. Bu yöndeki ilk yaklaşımımız simetrik lineer sistemler için kullanılan yinelemeli çözücüler için tasarlanmış olup CG, GMRES vs. gibi geniş bir yelpazadeki Krylov yöntemlerini kapsamaktadır. Yaklaşımımız bu tür çözücülerdeki her SyMV işleminin bir nokta çarpımı ile takip edilmesi özelliğini kullanarak, P işlemcili bir sistemde maksimum mesaj sayısını lgP ile sınırlamakta ve böylece gecikim maliyetleri üzerinde kesin bir sınır oluşturmaktadır. İkinci yöntemimiz ise CGNE, CGNR, vs. gibi asimetrik lineer sistemler için kullanılan yinelemeli çözücüler için tasarlanmıştır. Bu tarz çözücüler SyMV işleminin girdi ve çıktı vektörleri üzerinde farklı bölümlemeler kullanma esnekliğini içinde barındırdığından, bu çözücülerde gecikim maliyetlerinin eniyilenmesi için daha fazla olanak bulunmaktadır. Bu amaçla herhangi bir 1D ve 2D bölümleme yönteminin üzerine uyarlanabilen hiperçizge-bölümleme-tabanlı modeller önermekteyiz. Bu modeller işlemcilerin iletişim yükleri üzerinde bir denge sağlamaya çalışırken toplam mesaj sayısını eniyileyerek hem gecikim hem de iletişim maliyetlerini düşürmeye çalışmaktadırlar. Diğer hedeflediğimiz seyrek işlem ise blok yinelemeli çözücülerde yaygın olarak kullanılan seyrek matris yoğun matris çarpımıdır. Bu işlem dağıtık sistemlerde yüksek iletişim maliyetine sebep olduğundan gecikim maliyetleri iletişim maliyetlerine kıyasla ikinci planda kalmaktadır. Bu amaçla bu seyrek işlem için toplam hacim, maksimum gönderim hacmi, maksimum alım hacmi, vs. gibi birden fazla ve farklı hacim-bazlı iletişim maliyet ölçütlerini eniyileyebilen genel bir taslak önermekteyiz. Önerilen taslak özyinelemeli bölümleme örnekleminin içinde gerçeklenebilir tümleşik çizge ve hiperçizge modellerinden oluşmakta ve herhangi bir bölümleme aracında birçok maliyet ölçütünü aynı anda eniyileyebilmektedir.
Özgeçmiş:
Dr. Cevdet Aykanat, doktorasını Ohio State University, Elektrik ve Bilgisayar Mühendisliği Bölümü’nden 1988’de aldı. ABD’deki Intel şirketinde süper bilgisayar mimarileri üzerinde çalıştı. 1989 yılından bu yana Bilkent Üniversitesi’nde eğitim ve araştırma yapmaktadaır. İlgi alanları arasında paralel algoritmalar, paralel bilimsel hesaplama, paralel bilgisayar grafiği uygulamaları, uluslararası ağın paralel ve dağıtık taranması, paralel/dağıtık veri madenciliği, paralel/dağıtık bilgi erişimi, tümleşik bilimsel hesaplama, coğrafik bilgi sistemleri ve grid işleme konuları bulunan Prof. Aykanat, 1995 TÜBİTAK Teşvik Ödülü ve 2007 Parlar Bilim Ödülü sahibidir. Prof. Aykanat’ın makaleleri IEEE Trans. Computers, IEEE Trans. Parallel and Distributed Systems, SIAM J. Scientific Computing, J. Parallel and Distributed Systems, Parallel Computing, Information Systems, Data Mining and Knowledge Discovery, IEEE Trans. Computer Aided Design, SIAM Review ve IEEE Trans. Knowledge and Data Engineering gibi bilimsel dergilerde yayınlanmıştır. Prof. Aykanat IFIP Working Group 10.3 (Concurrent Systems Technology) üyeliğine atanmıştır. Prof. Aykanat 2008 ve 2012 yılların arasında IEEE Transactions on Parallel and Distributed Systems dergisinde associate editör olarak görev almıştır. Prof. Aykanat 2010 yılından itibaren Bilkent Üniversitesi’nde provost yardımcılığı görevi yürütmektedir.
10^18 demek dile kolay; Exascale sistemlere hazır mıyız?
Didem Unat (Koç Üniversitesi)
2020 gibi yakın bir zamanda veriyi 5mm taşımak veriyi işlemekten daha fazla enerji harcanmasına neden olacağı beklenmektedir. Dolayısı ile ernerji tüketimini en aza indirmek modern işlemci dizaynlarının odak noktası haline geldi ve işlemciler büyük bir değişim süreci içerisine girdi. Çok çekirdekli işlemci sayısı Moore Kanunu'nu takip ederek 2-3 sene de bir iki katına çıkarken, bellek hiyerarşisi de daha karmaşık hale geliyor. Bu gelişmeler saniyede 10^18 operasyon yapabilecek Exascale sistemlerinin yanı sıra cep telefonundan sunuculara kadar her kesimdeki sistemlerini etkilemekte. Paralel sistemlerin yaygınlaşması ile paralel programlama, geliştirilen her yazılımın kaçınılmaz bir parçası olma yolunda ilerliyor.
Bu sunumda ilk önce donanımda değişmekte olan dizayn parametrelerini ve geleceğin paralel sistemlerini tartışacağız. Sonra bu değişimlerin yazılımlara üç büyük etkisini (1. aşırı derecede paralellik, 2. heterojenlik ve 3. veri yerelliği) konuşacağız. Son olarak da parallel sistemler için geliştirilen derleyiciler, diller ve kütüphaneler konusundaki en son araştırma ve yenilikleri özetleyeceğiz.
Özgeçmiş:
Dr. Didem Unat, 2014 son baharında Koç Üniversitesi Bilgisayar Mühendisliği'ne öğretim üyesi olarak katıldı. Doktorasını University of California, San Diego'dan 2012 yılında aldı. Doktora tezinde Mint paralel programlama dilini dizayn etmiş, otomatik CUDA kodu üreten bir derleyici geliştirmiştir. Lawrence Berkeley National Laboratuarı'nda 2 sene doktora sonrası araştırma yürütmüş ve çok prestijli olan Luis Avarez Postdoctoral bursunu almayı hak kazanmıstır. Berkeley'deki yıllarında performs ölçümlerine ve analizlerine odaklandı ve derleyici tabanlı otomatik kod analizi yapan ExaSAT performans modelini geliştirdi. Berkeley ve Sandia Lablarındaki araştırmacılar ile birlikte “Abstract Machine Models and Proxy Architectures for Exascale Computing” adlı bir rapor yayınladı. Rapor 2020'den sonraki paralel donanımınların nasıl olacağına konusunda ön görülerde bulup, yazılımların ve uygulamaların ne gibi zorluklar ile karşılaşabileceğine ışık tuttu. Son yıllarda Dr. Unat verinin yerelliği optimizasyonlarına ve programlama dillerindeki ifadesine yoğunlaştı. Dünyanın her yerinden birçok uzmanın katıldığı PADAL (Programming Abstractions for Data Locality) Workshop'ını düzenlemiş ve veri yerelliğinin öneminin ve araştırma zorluklarının bir raporda toplanmansına öncü olmuştur. Dr. Unat 2015 Marie Curie Fellowship'e layık görülmüştür.