Development of an Algorithm and library for cleansing and enriching Vietnam's national residents database using big data platforms

Abstract

Giới thiệu một khung làm việc dựa trên dữ liệu lớn (big data) nhằm giải quyết các vấn đề chất lượng dữ liệu,hệ thống phát hiện dữ liệu thiếu và không nhất quán trong NRD. Hệ thống sử dụng Apache Spark để xử lý hiệu quả các tập dữ liệu lớn, giúp phát hiện sự không nhất quán và đưa ra đề xuất sửa lỗi, nâng cao độ chính xác của dữ liệu phả hệ..