AI Projemiz, Azure AI Hackathon En İyi 50 Uygun Gönderimden Biri Seçildi

In: Genel


Azure Bilişsel Hizmetleri kullanarak Katılım Yönetimi


Giriiş,

“Azure Cognitive Service ile Katılım Yönetimi” adlı Microsoft Azure AI Projemiz, Microsoft Azure AI Hackathon’da ilk 50 uygun projeden biri seçildi. Bu blog, uygulamayı nasıl oluşturduğum ve kullanılan Microsoft Hizmetlerinin neler olduğu hakkındadır.

Bu projeyi inşa etmek için ilham

  1. Hala okulumda yoklama manuel olarak alınmaktadır. Ama işe yaramaz hale gelen kimlik kartları veriyorlar. Her dönem personel yoklama almak için zaman kaybedecektir.
  2. Ofisimde RFID’li bir kimlik kartı sağlıyorum. Bunda, RFID işe yaramaz ve Mikrodenetleyiciler için RFID yapılandırması karmaşıklık yaratıyor.

Bu nedenle, Azure Custom Vision ve Computer Vision kullanarak bir devam yönetimi projesi oluşturmaya karar verdik.

Bu ne yapar

Kullanıcı veya öğrenci kimlik kartını kameraya göstermelidir ve Özel Vizyonumuz mevcut kimlik kartı geçerliliğini yakalayacaktır. Çünkü her firmanın kimlik kartı tasarımı farklıdır. Buna daha sonra geleceğiz.

Kimlik geçerli olduğunda, öğrencinin başarıyla oturum açtığını kaydetmek için bir API çağrısı kullanılarak sunucuya gönderilecek olan kimlik kartındaki metinleri çıkarmak için Computer Vision’a vuracaktır.

Nasıl inşa ettik

İlk olarak customvision.ai’de Özel Vizyon Projesi oluşturduk ve başarı durumu için 20 ila 30 kimlik kartı fotoğrafı çektik ve başarısızlık durumu için 30 bilinmeyen kimlik kartı görüntüsü aldık. Ardından bir model oluşturuyoruz ve Hızlı Test seçeneğini kullanarak hızlı bir şekilde test ediyoruz. Ondan sonra ONNX modelini çıkartıp indirdik. İndirdikten sonra yeni bir UWP projesi oluşturdu ve UWP IOT desteği için bir referans ekledi. daha sonra ONNX modelini Assets klasörüne ekledik. Ardından otomatik olarak ONNX modeliyle aynı ada sahip bir model sınıfı oluşturur. Ardından videoyu yakalamak için CaptureVideo sınıfını oluşturdu. Video çekildikten sonra, Kare geldi yöntemi her kare gelişi için tetiklenir. Daha sonra etiketleri tahmin etmek için bu çerçeveyi modele geçirdik.

Bununla, sadece olasılığı kontrol ettiğimiz ve doğruysa bir isim etiketlediğimiz etiketlerle bir puan alıyor olacağız. Eğer doğruysa, biz de bir vuruyoruz Bilgisayarla Görme API’sı metinleri kimlik kartından çıkarmak için. Doğruluğu sağlamak için kalıbı eşleştiriyoruz, çünkü ofis kimliği ayrıntılarımda 3 satırlık metin var, bu bir koşul olarak ayarlandı: 3’ten fazla satır alırsak RecognizePrintedTextInStreamAsync API, o zaman tüm ayrıntıların bulunduğunu biliyorum, aksi takdirde “Doğru kimliği göster” seslendirmesiyle geçersiz kimlik metni gösteriyor olurdum. Bundan sonra, katılım ayrıntılarını depolamak ve yeni çerçeve gelme koşulunu sıfırlamak için bir API’ye ulaşacağız.

Neden iki Bilişsel Hizmet kullandım? aynı şeyi sadece Custom Vision kullanarak arşivleyebiliriz, Azure Computer Vision’ı neden kullandınız?

Arşivleyebiliriz, ancak modeli oluşturmak için tüm kimlik kartlarını alamıyoruz. Bulmak için bir model oluşturmak için sadece 30 ila 50 kimlik kartı kullanılır, kimlik geçerli olsun ya da olmasın. Daha sonra aynı kamera çerçevesini kullanarak Computer Vision ile metin ayıklayıp bir API’ye ulaştı. Bu sayede eski kullanıcıları ve yeni kullanıcıları RFID ve manuel katılım kullanmadan dönüştürebiliyoruz.

Karşılaştığımız zorluklar

Sert

  1. Dışa aktarılan ONNX modeli bazen bir model sınıfı oluşturmuyor.
  2. “AzureCongitiveService.Prediction” seçeneğiyle bir model oluştururken ONNX modelini dışa aktaramıyorum. Kolay
  3. Bilgisayarla görü kullanarak metni ayıklamak çok kolay Microsoft ve Team sayesinde, siz sadece bunu çok kolaylaştırıyorsunuz. OCR kullanırken bu çok zor bir problemdir.

bizim hatalarımız

  1. Bu durumda Raspberry PI için yanlış kamera modülünü satın aldık, bu yüzden Windows IoT Core ile çalışmadı.

Gurur duyduğumuz başarılar

  1. Kodsuz ilk ML Modelimizi yaptık.
  2. Azure Custom Vision ve Computer Vision kullanıldı.
  3. Windows IoT Core OS ile ahududu pi’ye İlk UWP IoT uygulamasını oluşturun ve çalıştırın.
  4. Gerçekten Özel Vizyon, kullanım oluşturmak için harika.

öğrendiklerimiz

  1. Windows IoT Core OS ile ahududu pi’ye İlk UWP IoT uygulamasını oluşturun ve çalıştırın. UWP ve Windows IoT Core’da bazı kavramları öğrendim.
  2. Azure Custom Vision kullanarak ilk kodsuz ML Modelimizi oluşturup dışa aktarın ve kendi projemizde kullandık. Bazen model sınıf kodu üretmiyor, lütfen düzeltebilir misiniz? Yaklaşık 1 haftayı bu konuya ayırmıştık.
  3. Computer Vision ve hizmetleri, Bu projede sadece metin çıkarma API’sini kullandık.

Azure Bilişsel Hizmetleri kullanarak Katılım Yönetimi için sırada ne var?

Windows IoT Core’u destekleyen yeni bir kamera satın alacağım. Daha sonra bunu ofisimizde gösterecek ve onları katılım için gerçek zamanlı olarak uygulamaya ikna edeceğiz.



Bir cevap yazın

Ready to Grow Your Business?

We Serve our Clients’ Best Interests with the Best Marketing Solutions. Find out More

How Can We Help You?

Need to bounce off ideas for an upcoming project or digital campaign? Looking to transform your business with the implementation of full potential digital marketing?

For any career inquiries, please visit our careers page here.
[contact-form-7 404 "Bulunamadı"]