RMSE ne kadar? Teknik ve ticari ölçütler – döviz kuru. – ISS Sanat Blogu | yapay zeka | Makine öğrenme

In: Genel


alanında çalışan insanların olduğu bir sır değildir. Makine öğrenme er ya da geç kendilerini kutsal bilginin bir tür taşıyıcısı olarak görmeye başlarlar. Geri yayılımın, çapraz entropinin, tensörlerin ne olduğunu ve onları nasıl dönüştürebileceğinizi biliyorlar.

Bu tür bir ML balonunda kalmanın algıyı etkilediğini söylemeye gerek yok. Geliştiriciler, herkesin bu işin teknik özelliklerini bildiği gibi bildiğini düşünmeye başlar. Ama gerçek olmaktan uzaktır. Makine Öğrenimi alanında iki ana taraf vardır: mühendisler ve müşteriler. Bu yazımızda size bu süreci görmenizi öneriyoruz. makine öğrenimi geliştirme müşterinin bakış açısından.

Etkileşimde bulunan iki kişinin olduğu olağan projeyi hayal edin:

  1. Andrew – scooter kiralamak için bir girişimin CEO’su. Oldukça katı ve pragmatik bir kişi. Amacı, iş sürecini optimize etmektir – belirli noktalara yerleştirilen scooter sayısının tahminini iyileştirmek;
  2. Michael – bir ML mühendisi, küre hakkında her şeyi bilen bu kutsal, sihirli bilginin taşıyıcısı. Sadece bazı verilere ihtiyacı var ve iş yakında yapılacak.

Çalışma sürecinde makine öğrenimi mühendisi birçok model eğitti ve gerekli tüm deneyleri yaptı. Ve geliştiricinin süreçte ne kadar ilerlediğini göstermesi gereken toplantı günü geliyor çünkü bu sonuçlara göre finansmana devam edip etmeme kararı verilecek.

Toplantıda müşteri sorar: ‘Sonuçlar nelerdir?’. ML mühendisi çok iyimser çünkü proje gerçekten iyi gidiyor. Michael, modelleri çalıştırmanın sonucunda ortalama karekök hatasının (RMSE) sadece 3.14 olduğunu söylüyor (bu aslında oldukça iyi bir sonuç). Sorun şu ki Andrew RSME’nin ne olduğunu anlamıyor, ancak projenin başarısını etkileyen çok önemli bir oran olduğunu anlıyor. Michael’ın formülleri açıklamasına ve göstermesine rağmen, Andrew her şeyi bulanık görüyor.

İşte kimsenin kazanamayacağı bir rekabet geliyor, çünkü mühendisi anlamaya çalışmaktan bıkan müşteri olabilir veya mühendis, eylem fikirlerini açıklamaya çalışmaktan yorulabilir.

Bu durumda sorun, makine öğrenimi mühendisinin iş kararları vermek için geçerli olmayan başarı oranı için teknik bir ölçü almasıdır. Neden? Niye? Çünkü işletme bunu anlamıyor. Geliştirici ve müşteri farklı dünyalarda yaşıyor. Birincisi bazı teknik görevleri çözmesi, ikincisi ise sahip oldukları oranlara göre işe başlayıp başlamama kararı vermesi gerekiyor.

Bu durumdan çıkış yolu nerede? En iyi karar iş metrikleridir. İşletme bunu anlar çünkü müşterinin dilinde, paranın dilinde ifade edilir. İş ölçümleri, müşteriye modelin gerçek dünyada ne kadar iyi çalışabileceğini gösterebilir.

Bu şekilde gitmek için ne yapılmalı? Kullanım durumları ile başlayabilirsiniz: genellikle makine öğrenimi mühendisleri bunlara dikkat etmez. İşlerinin modelleri eğitmek, gradyanları hesaplamak ve tensörleri çalıştırmak olduğunu düşünüyorlar. Ancak bunu bazı amaçlar için, belirli bir iş sürecindeki acıyı hafifletmek için yaparlar.

Durumumuzu scooter ile görürsek, bu kullanım durumları neler olabilir? Böyle örnekler verebiliriz:

  1. Ben bir öğrenciyim. Derslerim 4.30’da bitiyor. Şu anda scooter kullanma şansım nedir?
  2. Bir iş merkezinin yöneticisiyim. Eve scooter ile gitmek için personelin %20’sine sahip olmak için kaç scooter’a ihtiyacım var?
  3. Ben bir sürücüyüm. Andrew için çalışıyorum (hikayemizden). Scooterları bir yerden başka bir yere taşımam gerektiğinde fazla çalışma şansım nedir?

Tüm kullanım durumlarına sahip olduğumuzda, bu ML modelinin hangi iş süreçlerinde kullanılacağını, bunların bağlamlarını ve optimizasyon hedeflerini anlamamız gerekir. Örneğin:

  1. Lojistik;
  2. Müşteri sadakatini artırmak;
  3. Operasyonel giderlerin azaltılması;
  4. VB.

İş ortamını ve modelimizin çözdüğü sorunu anlamak, teknik metriklerin iş metriklerine dönüştürülmesi olan hedefimize yaklaşmamıza yardımcı olur. Kar Eğrisi bu konuda bize yardımcı olabilir.

Kâr Eğrisi, soyut sayılarla ifade edilen teknik metrikler ile finansal eşdeğeri arasındaki bir ‘döviz kurunu’ gösteren fonksiyonun grafiğidir. Bu sayıyı elde etmek için bir soruyu yanıtlamamız gerekiyor – ‘Bir hatanın bedeli nedir?’. RSME ortalama hatanın 3,14 olduğunu tahmin ederse, işletme ne gibi sonuçlar beklemelidir? Bu soruları yanıtlamak için makine öğrenimi mühendisi ve müşteri birlikte çalışmalıdır.

Scooter’larla ilgili örneğimizde nasıl çalıştığını görelim. Noktaya teslim etmemiz gereken scooter sayısını tahmin etmek için (bu gerileyen bir görevdir) 3.14 olan RSME’yi alıyoruz, bu da 3-4 scooter’ın yanlışlığı anlamına geliyor. Kiralama ücreti 150 ruble/saat, şehirde 10 noktamız var. Saymak için şu formüle ihtiyacımız var – 3 (RMSE)*150 (saatlik fiyat)*10 (şehirdeki puan sayısı). Bu nedenle, RMSE’nin teknik metriği bir puan için 3.14 ise, yaklaşık 450 ruble ve 10 puan için – 4500 ruble kaybederiz. Teknik hatayı iş için gerçek riske, aslında potansiyel kayba bu şekilde dönüştürüyoruz. Bu nedenle, finansal oranları iyileştirmek için gereken teknik metrik büyüme sayısını gösteren bir Kar Eğrisi oluşturabiliriz.

Kar Eğrisi oluşturulabilir:

  1. Ampirik olarak (deneyler, A/B testi). Startup başlatılır ve ML modeli yeni toplanan verilere göre test edilir. Teknik metriklerin iyileştirilmesinin finansal oranları nasıl etkilediğini görebiliriz.
  2. Logaritma, büyüme dinamiklerinin ve ihtiyaç duyulan kaynakların uygun bir tahminidir. Diyelim ki RMSE’yi 10’dan 8’e yükseltmek için bir aya ihtiyacımız var, ancak sonuçları iki puan daha iyileştirmek için (8’den 6’ya) yılın yarısına ihtiyacımız var.
  3. Makine öğrenme. İzleme sonuçlarına sahip olarak, teknik metrikleri ticari metriklere dönüştürme işlevini ‘öğretebiliriz’.

Kâr Eğrisini tahminler ve varsayımlar için bir araç olarak görmemeniz gerektiğini hatırlamak önemlidir. Bu araç, geliştirici ve işletme sahibi arasındaki etkileşim sürecinde ortak bir zemin bulmak için iletişim içindir.

Bu araç sayesinde para kazandığımızı gösterebiliriz, bu yüzden kullanışlılığımızı ifade ederiz.

Sonuç olarak:

  1. Müşteri teknik metrikleri anlamıyor. Bu kişilerin %95’i ML hakkında bilgi sahibi değildir;
  2. Teknik metrikler, iş kararları vermek için kötü bir araçtır;
  3. İş kararları vermek için teknik ölçüleri ticari ölçülere dönüştürmemiz gerekir;
  4. Kâr Eğrisi, dönüşüm için iyi bir araçtır;
  5. Kâr Eğrisi, tahminlerden ziyade iletişim için bir araçtır.

PS Müşterilerle daha empatik iletişim kurmaya çalışın. Bu beceri proje üzerinde çalışmayı kolaylaştırır.

Kar Eğrisi ve ML projelerindeki diğer yönetim araçları hakkında daha fazla bilgiyi kitapta bulabilirsiniz. VejKo Crunic “Yapay Zeka ile Başarıya Ulaşmak”

Bir cevap yazın

Ready to Grow Your Business?

We Serve our Clients’ Best Interests with the Best Marketing Solutions. Find out More

How Can We Help You?

Need to bounce off ideas for an upcoming project or digital campaign? Looking to transform your business with the implementation of full potential digital marketing?

For any career inquiries, please visit our careers page here.
[contact-form-7 404 "Bulunamadı"]