Bir CMMI Seviye 5 Organizasyonel Performans Yönetim Projesi Örneği: Kod Kalitesini İyileştirmek
- 1. Security Level: Bir CMMI Seviye 5 Organizasyonel Performans Yönetim Projesi Örneği: Kod Kalitesini İyileştirmek Huawei Türkiye ArGe Merkezi Deniz Güngör, [email protected] Yasemin Yiğit Kuru, [email protected] Pınar Örgün, [email protected]/ 10/ 2017
- 2. 2 Makale Sunumu • Bu sunum UYMS (Ulusal Yazılım Mühendisliği Sempozyumu) 2017 Antalya’da sunulan `Bir CMMI Seviye 5 Organizasyonel Performans Yönetim Projesi Örneği: Kod Kalitesini İyileştirmek ` başlıklı makalenin sunumudur. • Makaleye ulaşmak için aşağıdaki linke tıklayınız. Makale / Paper-86
- 3. 3 • 390+ mühendis, 2017 sonunda 450+ mühendis • 27 ülke için 82 proje • Inovasyon çalışmaları – ~60 araştırmacı – 15 doktora seviyesinde, 16 yüksek lisans seviyesinde – 6 SANTEZ, 11 TEYDEB projesi – Akıllı arama motorları, doğal dil işleme, büyük veri, sosyal medya analizi, görüntü ve video işleme, açık-kaynak yazılım, yapay zeka, insan-bilgisayar etkileşimi, IoT, IPTV • Üniversite işbirlikleri: 14 üniversiteden 30 profesör ile ortak Ar-Ge projeleri • Türkiye’de CMMI seviye 5 sertifikasını alan ilk telekomünikasyon şirketi Huawei Türkiye Ar-Ge Merkezi
- 4. 4 Sunucu Tanıtımı DENİZ GÜNGÖR Deneyim: • Yazılım Kalite Güvence Mühendisi – Huawei Türkiye ArGe Merkezi • Kalite Güvence Mühendisi - Autoliv Türkiye • Kalite Güvence Mühendisi – Alpplas Eğitim: • Yüksek Lisans, Boğaziçi Üniversitesi - Yazılım Mühendisliği (Devam-2018) • Lisans, İstanbul Üniversitesi – Makine Mühendisliği (2014)
- 5. 5 İçerik Giriş Proje Amacı CMMI Olgunluk Seviyeleri ve OPM Hedeflerin Değerlendirilmesi Hata Analizi Problem Tanımı Hedef Belirleme Kök-Neden Analizi Çözüm Önceliklendirme Aksiyon Planı Maliyet-Yarar Analizi Pilot ve Yaygınlaştırma Projelerinin Planlanması Pilot ve Yaygınlaştırma Projelerinin Uygulanması ve Değerlendirilmesi Sonuç
- 6. 6 Giriş Bu sunumda, yazılımda geliştirmeler yapan Huawei Türkiye Arge Merkezi’nin CMMI 5.olgunluk seviyesi süreç alanlarından Organizasyonel Performans Yönetimi kapsamında gerçekleştirdiği Yazılım Kod Kalitesini İyileştirme projesinden bahsedilmektedir.
- 7. 7 Proje Amacı Bu sunumda bilgisi verilen iyileştirme projesinin amacı, kaliteli ürün teslimatının başlıca hedefine ulaşmak ve iş hedefleriyle aynı doğrultuda olan organizasyonel düzeydeki iyileştirmeleri süreç odaklı ve sistematik bir şekilde uygulamaktır. Bu proje, Huawei Türkiye Arge Merkezi’nin süreç hedeflerinden olan Kaliteli Ürün Teslimatı’nı doğrudan etkileyen Teslimat Sonrası Hata Yoğunluğu metriğini konu almıştır.
- 8. 8 CMMI Olgunluk Seviyeleri ve OPM OPM CAR QPM OPP Seviye 5 Seviye 4 Organizasyonel Performans Yönetimi (OPM), CMMI (Bütünleşik Yetenek Olgunluk Modeli)-Dev. Olgunluk Seviye 5’te bulunan son süreç alanıdır. OPM • Periyodik olarak iş hedeflerinin(BO), kalite süreç performans hedefleri (Process Y) ile gözden geçirilmesi • Gerektiğinde revize edilebilmesi • İş hedeflerinin güncelliğinin korunması (iş stratejilerine göre)
- 9. 9 Hedeflerin Değerlendirilmesi İş Hedefleri ile Değerlendirme • Huawei Türkiye Arge Merkezi’nde her yıl odaklanılacak ana iş alanları ve hedefleri belirlenir. • Bu alanların belirlenmesinde Çin’de konumlanmış olan idare merkezi (Headquarter) ve üst yönetim rol oynar. • Bu iyileştirme projesinin gerçekleştirildiği yıl olan 2016’da belirlenen ana odaklanılacak iş hedefleri ise Müşteri Memnuniyeti ve Müşteride 0 Kritik Kalite Kazası idi. Müşteri Memnuniyeti ve Müşteride 0 Kritik Kalite Kazası İş Hedefleri Akış Şeması
- 10. 10 • Minitab istatiksel hesaplama aracında yapılan İlişkilendirme (Correlation) Analizine göre Müşteri Memnuniyeti (CSAT) ve Teslimat Sonrası Hataları (Downstream Defects) arasında negatif yönlü güçlü bir ilişki saptandı. • Bu bağlamda bu değerlerden biri artarken, birisinin azaldığı gözlemlendi. Hedeflerin Değerlendirilmesi İş Hedefleri ile Kalite & Süreç Performans Hedeflerinin Değerlendirilmesi Müşteri Memnuniyeti ile Teslimat Sonrası Hataları arasında yapılan İlişkilendirme Analizi
- 11. 11 • 2015 ve 2016 yıllarına ait Teslimat Sonrası Hata Yoğunluğu ve Teslimat Sırasında Bilinen Hata Yoğunluğu metrikleri hesaplanıp aşağıdaki analiz yapılmıştır. • Yıl bazındaki verilere bakıldığında Teslimat Sonrası Hata Yoğunluğunun, Teslimat Sırasında Bilinen Hata Yoğunluğundan daha fazla olduğu görülmektedir. Hedeflerin Değerlendirilmesi Kalite ve Süreç Performans Hedefleriyle Bağlantılı Metriklerin Analizi
- 12. 12 Hedeflerin Değerlendirilmesi Kalite ve Süreç Performans Hedeflerinin Analizi • Hedeflere göre teslimat sonrası hataların kritik ve major hata içermeyecek şekilde tüm hatalar içindeki yüzdesinin %5’ten fazla olmaması gerekmektedir. • Ancak, mevcut süreç yetkinlik analizi (PCB, 2016) teslimat sonrası hataların, tüm hatalar içindeki yüzdesinin %18 olduğunu göstermektedir.
- 13. 13 Hedeflerin Değerlendirilmesi Kalite & Süreç Performans Hedefleri ile Kritik Alt Süreçlerin Değerlendirilmesi Minitab ile yapılan İlişkilendirme Analizlerine göre aşağıdaki ilişkiler tespit edilmiştir. Teslimat sonrası hatalar ile • Kod Gözden Geçirme Hataları, • Geliştirme Testi Hataları, • SDV hataları (Sistem Tasarım Doğrulama Testi) arasında negatif yönlü kuvvetli bir ilişki olduğu görülmüştür. Teslimat Sonrası Hatalar ile Kod Gözden Geçirme Hataları arasında yapılan İlişkilendirme Analizi
- 14. 14 Hata Analizi • Organizasyonel seviyede analizi yapılan projelerin süreç yaşam döngülerinde inceleme ve test aşamaları sırasıyla; Gereksinimlerin Gözden Geçirilmesi, Tasarımın Gözden Geçirilmesi, Kod Gözden Geçirme, Geliştirme Testi ve Sistem Tasarım Doğrulama Testi şeklindedir. • Organizasyonel seviyede yapılan kök- neden analizine göre; teslimat sonrası hataların (Downstream Defect) artmasının nedeni, kod gözden geçirme (code review) & geliştirme testi (development test) aşamalarında bulunamayan hataların sistem tasarım doğrulama testi (SDV) ve müşteri bulgu (post-delivery) hatası olarak sızmasıdır. Gereklilik Gözden Geçirme (Requirement Review) Tasarım Gözden Geçirme (Design Review) Kod Gözden Geçirme (Code Review) Geliştirme Testi (Development Test) Sistem Tasarım Doğrulama Testi (System Design Verification) Kabul Testi (Acceptance Test) TESLİMAT
- 15. 15 Hata Analizi Sistem Tasarım Doğrulama Testi (SDV) Hataları için Pareto Analizi SDV Hatalarının Sebepleri için Pareto Analizi SDV hataları için yapılan Pareto Analizi grafiği, çoğu SDV hatasının sebebinin kodun mantığı yansıtmaması ve geliştirme testinin yetersiz olması olarak gösteriyor.
- 16. 16 Problem Tanımı Kaliteli teslimatı iyileştirmek için, kod gözden geçirme ve geliştirme testi fazlarının verimliliğinin %30 artması ve böylece SDV ve teslimat sonrası hataların azalacağı sonucuna varılmıştır. Analiz edilecek problem, SDV ve teslimat sonrası hataların sebebini bulmaktır.
- 17. 17 Hedef Belirleme • Revize edilmiş (kod gözden geçirme ve geliştirme testi aşamalarındaki iyileştirmelerin uygulandığı varsayılıyor) hedeflerle birlikte süreç performans modeli (PPM) ile yapılan tahminlemeye göre teslimat sonrası hatalar ve teslimat sırasında bilinen hatalar 0 olarak tahminlenmektedir. • Süreç Performans Modeli (PPM), Crystal Ball programı ve eski verileri kullanarak tahmin yapabilen istatiksel bir programdır. • SDV hataları duyarlılık analizine göre (sensivity analysis) artık iç hatalar içerisinde en çok paya sahip değildir ve kod gözden geçirme & geliştirme test hatalarının payı artmıştır. PPM Hata Tahminlemesi SDV hataları duyarlılık analizi
- 18. 18 Hedef Belirleme Hedef konulurken, kod gözden geçirme ve geliştirme testi hata yoğunluklarının %30 arttırılmıştır. Bunun sebebi; bu fazlarda daha fazla hata yakalanmasının hedeflenmesidir. SDV hata yoğunluğu da %30 azaltılmıştır. Bunun sebebi ise, bu erken fazlarda daha fazla hata tespit edileceği ve SDV fazında daha az hata yakalanacağı içindir.
- 19. 19 Kök-Neden Analizi / Balık Kılçığı Yöntemi
- 20. 20 Çözüm Önceliklendirme Organizasyonel seviyedeki balık kılçığında seçilen kök-nedenler için bir çok çözüm önerisi listelenmiştir. Bu çözümler arasında seçim yapılırken, çözümlere maliyet/risk, yarar ve yarar-maliyet oranına göre 1- 10 arası puanlar verilmiştir. Puanlandırma sonucunda, en ideal puanı alan (maliyeti makul, eforu orta/az ölçekli/yararı fazla) çözümler uygulanmak üzere seçilmiştir.
- 21. 21 Aksiyon Planı Önerilen çözüm önerileri değerlendirildikten sonra, seçilen çözümler için tabloda görüldüğü gibi aksiyon planı oluşturulmuştur.
- 22. 22 Maliyet-Yarar Analizi Süreç Performans Model’inde (PPM) Kod Gözden Geçirme Hata Yoğunluğu, Geliştirme Testi Hata Yoğunluğu değerleri %30 arttırılarak ve SDV Hata Yoğunluğu %30 azaltılarak, 1000 kod satırında yapılan tahminleme sonucunda SDV Testi Hatalarının 10’dan 6’ya, Üretim Sonrası Hatalarının 12’den 0’a düştüğü gözlemlendi. Bu durumda, eski metrik verileri baz alınarak hesap yapıldığında, 1000 kod satırı için harcanabilecek hata çözüm eforunun azaldığı ve bir saatlik efora denk gelen ortalama Amerikan doları sabiti ile kazanılan efor baz alınarak maliyet hesabı yapıldığında önemli miktarda kazanım sağlanabileceği öngörülmüştür. Hedef değerleri değiştirilmiş PPM metrik veri tabanı
- 23. 23 Pilot ve Yaygınlaştırma Projelerinin Planlanması Planlanan aksiyonlar belirlenmiş olan bir pilot ve iki adet yaygınlaştırma projesinde uygulanmıştır. Bu projeler için: • Varsayımlar, Kısıtlamalar ve Bağımlılıklar belirlenmiştir. • Personel İhtiyaç Tahmini yapılmıştır. • Yazılım İhitiyaç Tahmini yapılmıştır. • Eğitim İhtiyaçları belirlenmiştir. • Risk plan ve durumu kontrol edilmiştir. • İletişim Planı oluşturulmuştur. • Pilot/Yaygınlaştırma proje planı oluşturulmuş ve strateji belirlenmiştir. • Pilot/Yaygınlaştırma projesinin Başarı Kriterleri ve Hedefleri belirlenmiştir. (Hedef metriklerin%30 artıp azalması) • Metrik ve ölçüm toplama planı yapılmıştır.
- 24. 24 Pilot Projenin Uygulanması ve Değerlendirilmesi • Aksiyonların uygulandığı pilot proje sonunda, proje verileri ölçüm planına göre toplanarak, hedef metriklerle karşılaştırıldı. Bu karşılaştırma Minitab ve bu aracın 1-Sample T Hipotez Testi kullanılarak yapıldı. • Karşılaştırma sonucuna göre SDV Hata Yoğunluğu ve Teslimat Sonrası Hata Yoğunluğu sonuçları hedefe ulaştı. SDV Hata Yoğunluğu için Hipotez Testi Teslimat Sonrası Hata Yoğunluğu için doğru grafiği
- 25. 25 Yaygınlaştırma Projelerinin Uygulanması ve Değerlendirilmesi • Pilot projenin başarılı olmasının ardından, yaygınlaştırma projeleri devreye alındı. • Aksiyonların uygulandığı yaygınlaştırma projeleri sonunda, proje verileri ölçüm planına göre toplanarak, hedef metriklerle karşılaştırıldı. Bu karşılaştırma Minitab ve bu aracın 1-Sample T Hipotez Testi kullanılarak yapıldı. • Karşılaştırma sonucuna göre SDV Hata Yoğunluğu ve Teslimat Sonrası Hata Yoğunluğu sonuçları iki yaygınlaştırma projesinde de hedefe ulaştı. SDV Hata Yoğunluğu için Hipotez Testi (1 numaralı yaygınlaştırma projesinin sonuçları) Teslimat Sonrası Hata Yoğunluğu için doğru grafiği (1 numaralı yaygınlaştırma projesinin sonuçları)
- 26. 26 Sonuçlar Hipotez testi sonucuna göre bu projelerde 9’ar saatlik efor kazanılmış ve önemli ölçüde maliyet karı elde edilmiştir. Müşteride çıkabilecek hata riski (yoğunluğu) düşmüş, daha güvenli ve sorunsuz ürün gönderimi yapılmaya başlanmıştır. Pilot ve yaygınlaştırma uygulamaları sonucunda, yapılan iyileştirme projesinin başarılı olduğu sonucuna varılmış ve bu aksiyonların standart süreç haline getirilmesi kararlaştırılmıştır. Standart süreç olan bu aksiyonların tüm organizasyon genelinde uygulanmasına karar verilmiştir. CMMI Seviye 5’in süreç alanlarından olan Organizasyonel Performans Yönetim (OPM) Huawei Türkiye ArGe Merkezi’nde başarıyla uygulanmış ve sürekli iyileştirme kültürü benimsenmiştir.
- 27. Copyright©2016 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements. Therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. Huawei may change the information at any time without notice. Thank You.