Effective Java Madde 48: Streamleri Paralel Yaparken Dikkatli Olun

Yaygın olarak kullanılan programlama dilleri arasında Java, paralel programlamayı kolaylaştıran araçlar sunma konusunda her zaman en önde olmuştur. 1996’da Java ilk ortaya çıktığında wait/notify mekanizması ile threadleri destekliyordu. Java 5 java.util.concurrent paketiyle beraber paralel koleksiyonlar ve executor yapısını dile eklerken, Java 7 ile fork-join mekanizmasına kavuştuk. Java 8 ise tek bir parallel metot çağrısı sayesinde paralel işletim imkanı sunan streamleri dile ekledi. Java’da paralel işletilen programlar yazmak giderek kolaylaşıyor gibi görünse de, bunu doğru ve yüksek performans alarak yapmak hiç de kolay değildir. Thread güvenliği ve canlılık (liveness) ihlalleri paralel programlamanın doğasında olan sorunlardır ve paralel streamler de bunun bir istisnası değildir.

Madde 45’de yazdığımız bu programı ele alalım:

// İlk 20 Mersenne asal sayısını üreten stream tabanlı program
public static void main(String[] args) {
    primes().map(p -> TWO.pow(p.intValueExact()).subtract(ONE))
        .filter(mersenne -> mersenne.isProbablePrime(50))
        .limit(20)
        .forEach(System.out::println);
}
static Stream<BigInteger> primes() {
    return Stream.iterate(TWO, BigInteger::nextProbablePrime);
}

Bu program benim bilgisayarımda Mersenne asal sayılarını hemen yazdırmaya başlıyor ve 12.5 saniyede sonlanıyor. Peki bunu hızlandırmak niyetiyle stream hattına parallel() çağrısını eklersem ne olur? Paralel işletimi etkinleştirdiğim için program gerçekten de hızlanır mı? Maalesef bunu yaptığımda program hiçbir şey yazdırmıyor, işlemci kullanımı %90’a fırlıyor ve orada kalıyor. Belki uzun süre beklerseniz program sonlanabilir ama ben yarım saat sonra pes edip programı durdurmak zorunda kaldım.

Peki neden böyle oldu? Basitçe söylemek gerekirse, stream mekanizmasının bu işlemi paralel olarak nasıl yapabileceği konusunda hiçbir fikri yok. Stream üretmek için Stream.iterate kullanıyorsanız veya ara işlemlerden bir tanesi limit ise, stream hatlarını paralel yapmak en iyi şartlar altında dahi size performans artışı sağlamaz. Bizim örneğimizdeki stream hattı bu problemlerin ikisine de sahiptir. Paralelleştirme algoritması limit ara işlemini ele alabilmek için fazladan birkaç eleman hesaplamakta bir sakınca görmez. Daha sonra fazladan hesaplanan bu elemanlar atılacaktır. Ancak bu örnekte Mersenne asal sayıları için fazladan bir eleman hesaplamak, kabaca ondan önceki elemanların tamamını hesaplamak için harcanan zaman kadar sürer. Bu sebeple de paralel işletim algoritması çöker. Buradaki ders çok açıktır: Stream hatlarını rastgele paralelleştirmeyin!

Paralel streamlerin yüksek performansla çalışabilmesi için bunların ArrayList, HashMap, HashSet, ConcurrentHashMap nesneleri; diziler, int aralıkları (IntStream.range) veya long aralıkları (LongStream.range) üzerinden yaratılması gerekir. Bütün bu veri yapılarının ortak noktası istenen küçüklükte parçalara kolayca bölünebilmeleridir. Bu da paralel işletimi kolaylaştıran bir durumdur. Stream kütüphanesi bunu yapmak için Stream ve Iterator‘da bulunan spliterator metodunu kullanır.

Bu veri yapılarının ikinci önemli özelliği ise sıralı bir şekilde işlendikleri zaman referans yerelliği (locality of reference) sunmalarıdır. Başka bir deyişle ard arda gelen elemanların referansları bellekte beraber tutulmaktadır. Ancak referansların beraber olması bunların işaret ettiği nesnelerin de bellekte birbirlerine yakın olacağı anlamına gelmez, bu yerelliği azaltan bir faktördür. Referans yerelliği toplu yapılan işlemlerin paralel işlenmesinde çok önemli bir faktördür. Bu olmadığında threadler verinin bellekten işlemciye aktarılması için beklemek zorunda kalırlar. Referans yerelliğini en iyi sağlayan veri yapıları ise temel türlerdeki dizilerdir, çünkü bunlar verinin kendisini bellekte peş peşe saklarlar.

Bir stream hattının sonlandırıcı işlemi de paralel işletimin verimini etkiler. Hesaplamanın zaman alan kısmı ara işlemler değil de sonlandırıcı işlemde yapılıyorsa ve bu işlemin doğası gereği peş peşe yapılması gerekiyorsa paralel işletim pek verimli olmaz. Paralel işletime en uygun sonlandırıcı işlemler indirgeme (reduction) işlemleridir. İndirgeme işlemleri bütün stream elemanlarının reduce, min, max, count veya sum gibi metotlar kullanılarak birleştirilmesi sonucu tek sonuç üretirler. anyMatch, allMatch veya noneMatch gibi sonlandırıcı işlemler de paralel işletimde verimlidirler. Ancak Stream.collect metoduyla kullanılan toplayıcı işlemler pek verimli olmaz çünkü stream elemanlarının bir koleksiyonda toplanmasının getirdiği ek yük fazladır.

Stream hesaplamalarının paralelleştirilmesi kötü performansa sebep olabileceği gibi, programın yanlış sonuçlar üretmesine ve tutarsız davranmasına da sebep olabilir. Bu tür hataların kaynağı stream hatlarında kullanılan fonksiyon nesnelerinin Stream kütüphanesinin tanımladığı bağlayıcı kurallara uymamasıdır. Örneğin, reduce metoduna geçilen toplayıcı ve birleştirici fonksiyonların belirli matematiksel kuralları sağlaması ve durum taşımaması (stateless) gerekir. Bu kurallar ihlal edildiğinde (Madde 46) stream hattı sıralı işletimde düzgün çalışsa bile paralel işletimde büyük ihtimalle çökecektir.

Streamlerin verimli bir biçimde paralel işletilmesi için burada anlatılan bütün kurallara uysanız bile (doğru veri yapısı ve sonlandırıcı işlem seçimi, fonksiyon nesnelerinin paralel işletime uygun olması gibi) paralel işletimden beklediğiniz performans artışını almanız zordur. Bunun sebebi paralel işletimin kendisinin de bir ek yük getirmesidir. Eğer paralel hesaplamadan elde edilen kazanç, paralel işletimin getirdiği ek yükü fazlasıyla karşılayabiliyorsa o zaman bir performans kazanımı mümkün olur.

Bir stream hattını paralel yaparken amacın performans iyileştirmesi olduğunu unutmayın. Bu yüzden de iyileştirme yaparken öncesi ve sonrasındaki performans değerlerini ve üretilen sonuçları karşılaştırın (Madde 67). Bu testlerin gerçekçi bir sistem üzerinde yapılması önemlidir. Bütün paralel stream hatları tek bir fork-join havuzunu kullandıklarından bir tanesinde oluşabilecek hata başka stream hatlarında problemlere sebep olabilir.

Milyonlarca satırlık bir uygulama üzerinde çalışan ve stream kütüphanesini sıklıkla kullanan bir tanıdığım, paralel streamleri sadece birkaç yerde verimli olarak kullanabildiğini söylüyor. Tabii ki bu stream hesaplamalarını hiçbir koşulda paralel yapmayın anlamına gelmez! Doğru şartlar altında bir stream hattına parallel çağrısını ekleyerek işlemci çekirdeği sayısıyla orantılı olarak ciddi bir hız artışı elde edebilirsiniz. Makina öğrenmesi ve büyük çaptaki verilerin işlenmesi gibi alanlarda paralel işletimden ciddi performans kazanımları sağlanmaktadır.

Paralel işletimin verimli olduğu bir stream örneğine bakalım. Aşağıdaki primeCount(n) fonksiyonu, n değerine eşit veya daha küçük olan asal sayıların sayısını vermektedir:

// Paralel streamlerin faydalı olabileceği bir hesaplama
static long primeCount(long n) {
    return LongStream.rangeClosed(2, n)
        .mapToObj(BigInteger::valueOf)
        .filter(i -> i.isProbablePrime(50))
        .count();
}

Benim bilgisayarımda primeCount(108) değerini hesaplamak için 31 saniye geçmesi gerekti. Bu stream hattına sadece parallel() ekleyince bu süre 9.2 saniyeye düştü, yani dört çekirdekli bir işlemcide 3.7 kat hız artışı elde ettik:

// Asal sayıların sayılması - paralel versiyon
static long primeCount(long n) {
    return LongStream.rangeClosed(2, n)
       .parallel()
       .mapToObj(BigInteger::valueOf)
       .filter(i -> i.isProbablePrime(50))
       .count();
}

Eğer rastgele üretilmiş sayılardan oluşan bir stream üzerinde paralel hesaplama yapmak istiyorsanız ThreadLocalRandom yerine SplittableRandom kullanın. SplittableRandom tam olarak bu amaçla yazılmıştır ve paralel işletime çok uygundur. ThreadLocalRandom ise tek bir thread ile çalışmaya müsaittir. Paralel işletimde de çalışacaktır ancak SplittableRandom kadar hız artışı sağlamayacaktır.

Özetle, bir stream hattının doğru sonuçları üreteceğinden ve hız artışı sağlayacağından emin değilseniz paralel yapmaya kalkışmayın. Yanlış durumda yapılan paralel işletimin programın çökmesi veya performansın yerlerde sürünmesi gibi etkileri olabileceğini unutmayın. Eğer bir stream hattını paralel yaparak kazanç sağlayabileceğinizi düşünüyorsanız, gerçekçi bir ortamda mutlaka performansı ve üretilen sonuçları test edin. Sadece ve sadece bu testleri geçtiği taktirde bir stream hattını paralel yapmak yararınıza olacaktır.

Share