Akıllı Belge İşleme Sistemleri Oluşturmaya Giriş – Grape Up

In: Genel


Finansal kurumlar için Akıllı Belge İşleme sistemleri oluşturmak zordur. Bu makalede, basit bir NLP görevinin çok ötesine geçen bir IDP çözümü geliştirmeye yönelik yaklaşımımızı paylaşıyoruz.

Akıllı Belge İşleme (IDP) ile ilgili dizi 3 bölümden oluşmaktadır:

Akıllı Belge İşleme sistemleri oluşturma – soruna giriş

Seçilmiş etki alanı AI ile geliştirilmiş ipotek başvurularıydı. Bu başvurular, ipoteklerin hizmete sunulması veya devredilmesi için gereklidir ve yetki alanına özgüdür. Bir kredi tahsil edildiğinde, yargı mercilerine, bankalara, hizmet şirketlerine vb. birçok form doldurulur. Bu formlar derhal, doğru ve doğru bir şekilde doldurulmalıdır. Bu formların çoğu, yalnızca nispeten az sayıda yargı yetkisi e-imzaya izin verdiği için gerçek kağıttır.

Belge türlerinin sayısı çok fazladır. Örneğin, MSR Transferleri, haciz tahliyesi, haciz mükemmelliği, hizmet devri, haciz icrası, haciz yerleştirme, haciz, müsamaha, açığa satış vb. konuları inceliyoruz. Tüm bu prosedürlerin birden fazla formu vardır ve belirli süreler gerektirir. dosyalama, aynı zamanda takip. Çoğu yargı, belgeler ve düzenleri konusunda son derece spesifiktir. Kenar boşluklarından mühürlerin bir yazı tipine yerleştirildiği yere, boyutlandırmaya ve ifadelere kadar. Coğrafi olarak yakın yargı bölgeleri arasında değişebilir.

Şaşırtıcı olan, genellikle kağıt olan bu belgeler, tasnif ve taranmak üzere merkezlere gönderilir. Belgeler bir insan tarafından görsel olarak incelenir. Yalnızca belgelerin daha fazla işlenmesine karar vermekle kalmazlar, bazen yönlendirme aşamasında bazı bilgileri çıkarmaları veya etiketlemeleri gerekir. Bu süreç, büyük bir organizasyonun günde on binlerce belgeyi işleyebildiği gerçeği göz önüne alındığında inanılmaz derecede zahmetli görünüyor!

Yapay zeka teknolojisi, anlayışı ve güveni arttıkça doğal olarak benzer uygulamalarda kendine yer buluyor ve sonraki görevleri tek tek otomatikleştiriyor. Teknolojik ilerlemeyi bekleyen pek çok yer var ve işte bunun nasıl yapılabileceğine dair bazı fikirler.

genel bakış

Hazırlanan çözümde birkaç önemli bileşen var.

  • OCR
  • Belge sınıflandırması
  • yetki tanıma
  • Mülk adresleri
  • Parti adları ve rolleri
  • Belge ve dosya tarihi

Her birinin ele alınması gereken bazı belirli yönleri vardır, ancak hepsi (OCR hariç) 2 klasik Doğal Dil İşleme görevinden birine girer: sınıflandırma ve Adlandırılmış Varlık Tanıma (NER).

OCR

Metni bir belgeden kopyalayabilen çok sayıda OCR vardır. Üzerinde çalıştıktan sonra bildiğimizin aksine VIN Tanıma Sistemimevcut OCR’ler muhtemelen tasarlanmıştır ve çeşitli türden rastgele belgeler üzerinde iyi performans gösterir.

Öte yandan, bazı olasılıklara sahip olmak – Microsoft Computer Vision, AWS Textract, Google Cloud Vision, açık kaynaklı Tesseract, birkaç isim, en iyisi nasıl seçilir? İhtiyaçlarımıza en uygun çözümü belirlemek başlı başına zor bir karardır. İyi yapılandırılmış deneyler gerektirir.

  1. Genel doğruluğu ölçmek için test setleri hazırlamamız gerekiyordu
  2. El yazısı performansını analiz etmemiz gerekiyordu

Sonuçlar, hem normal hem de elle yazılmış metinlerdeki doğruluk açısından hizmetler arasında büyük farklılıklar gösterdi.

Bulduğumuz en iyi hizmetler Microsoft Computer Vision, AWS Textract ve Google Cloud Vision idi. 3 sette aşağıdaki sonuçları elde ettiler:

AWS Textract Microsoft Özgeçmişi Google Özgeçmişi
1’i ayarla 66.4 95.8 93.1
2’yi ayarla 87.2 96.5 91.8
3’ü ayarla 78.0 92.6 93.8
Farklı kıyaslamalarda OCR sonuçlarının yüzdesi

El yazısı metin kendi şartlarına göre çalışır. Gerçek dünyada sıklıkla olduğu gibi, herhangi bir aracın zayıf yönleri vardır ve basılı metin üzerindeki performans, bir şekilde elle yazılmış metindeki performansın tam tersidir. Özetle, OCR’ler çıktı bilgisi, tanıma süresi, algılama ve tanıma doğruluğu açısından farklı özelliklere sahiptir. En iyi ihtimalle %8 hata vardır, ancak bazı hizmetler kelimelerin %25’ini yanlış tanımak kadar kötü çalışır.

OCR’yi seçtikten sonra sınıflandırıcılar için veri üretmemiz gerekiyordu. Tonlarca belgeyi tanımak zaman alan bir süreçtir (proje ekibi karakter tanıma için fazladan bir ay harcadı.) Bu adımdan sonra ilk istatistikleri toplayabilir ve verileri tanımlayabiliriz.

Veri çeşitliliği

80000’den fazla belge topladık. Ortalama bir dosyanın 4.3 sayfası vardı. Bazıları 10 sayfadan uzun, 96 sayfa rekor sahibi.

Aşağıdaki belgelere bir göz atın – Belge A ve Belge B. İkisi de aynı türdendir – Satış Faturası!

  1. A belgesinin yarısı elle yazılmış, diğerinin sadece imzaları var
  2. Doc A’da satış süreciyle ilgili kısa bir ayrıntı varken, diğerinde kamyon muayenesiyle ilgili birçok ayrıntı var.
  3. B belgesinde satılan araç tabloda açıklanmıştır
  4. Yalnızca B belgesinin belge tarihindeki gün elle yazılmıştır.
  5. Doc A’da bir barkod var
  6. B belgesinde A’dan %300 daha fazla kelime var

Ayrıca, bu belgelerin görsel izlenimini çok farklı buluyoruz.

Belgeler nasıl bu kadar farklı olabilir? Belge türleri son derece sayısız ve çeşitlidir, ancak aynı zamanda çeşitli yargı mercileri tarafından sürekli olarak değiştirilmekte ve eklenmektedir. Bazen eklerle birlikte gönderilirler, bu nedenle eki orijinal belgeden ayırt etmemiz gerekir.

ABD’de 3000’den fazla yargı yetkisi vardır. Sadece birkaç idari yargı bölgesi ipotek dolgularını paylaşır. Neyse ki günümüz belgelerine odaklanabildik, ancak 30 yıldan daha eski olan bazı belgelerin işlenmesi gerekiyor.

Bazı belgeler iyi yapılandırılmıştı: her ilginç değer bir anahtarla açıklanmıştı, her şey tablolardaydı. Ancak, bir belgenin tamamen elle yazıldığı ortaya çıktı. Şekillerde bazı belgeleri görebilirsiniz. İlkindeki bazı bilgilerin sadece bir daire ile işaretlenmiş bir çalışma olduğunu unutmayın!

Sonraki adımlar

Elde edilen belgeler bir sonraki araştırma için sadece temeldi. Böyle zengin bir koleksiyon, sonraki adımları at, belgelerin çeşitliliği biraz korkutucu olsa da. Toplanan belgeleri çalışan bir sistem için kullanmayı başardık mı?

Hazırlanan çözüme genel bakış

Bir cevap yazın

Ready to Grow Your Business?

We Serve our Clients’ Best Interests with the Best Marketing Solutions. Find out More

How Can We Help You?

Need to bounce off ideas for an upcoming project or digital campaign? Looking to transform your business with the implementation of full potential digital marketing?

For any career inquiries, please visit our careers page here.
[contact-form-7 404 "Bulunamadı"]