BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

—————————————

Nguyễn Thái Bình

ỨNG DỤNG MÔ HÌNH

NGÔN NGỮ CHO BÀI TOÁN

NHẬN DẠNG CHỮ VIẾT TAY

Chuyên ngành: Khoa học dữ liệu

LUẬN VĂN THẠC SĨ KHOA HỌC

KHOA HỌC DỮ LIỆU

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS. Nguyễn Bình Minh

HÀ NỘI - 2019

SĐH.QT9.BM11 Ban hành lần 1 ngày 11/11/2014

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ

Họ và tên tác giả luận văn : Nguyễn Thái Bình

Đề tài luận văn: Ứng dụng mô hình ngôn ngữ cho bài toán nhận dạng

chữ viết tay

Chuyên ngành: Khoa học dữ liệu

Mã số SV: CB180056

Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn

xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng

ngày 26/10/2019 với các nội dung sau:

1. Bổ sung phân tích kết quả, thời gian thực thi (Chương 6, trang 75):

“Hình 6.2 là một số mẫu dữ liệu được tiến hành kiểm thử. Bảng 6.5 là kết

quả đầu ra của các mô hình nhận dạng. Nhìn chung, kết quả tốt hơn

thuộc về các mô hình có sự kết hợp của mô hình ngôn ngữ. Lấy ví dụ

trong mẫu dữ liệu e, ký tự ‘a’ bị nhận nhầm là ‘à’ khi sử dụng mô hình

CRNN, nhưng nếu mô hình nhận dạng không dấu và sửa lại thành có

dấu thì hiện tượng này không còn. Kết quả cửa mô hình OCRLMPipeline

và mô hình OCRLMJoint trong mẫu d thể hiện thành phần mô hình ngôn

ngữ trong mô hình OCRLMPipeline có tính chất suy diễn khi chuyển từ

‘Bình Thuận’ sang ‘Bình Phước’. Ví dụ c cho thấy mô hình OCRLMJoint

hoạt động khá tốt khi có thể đưa ra được hai số ‘0’.”

“Bảng 6.5 so sánh kết quả thực thi mô hình trên toàn bộ tập dữ liệu kiểm

thử. Thời gian chạy được tiến hành đo đạc trên hai thiết bị phần cứng là

CPU (2.9 GHz Intel Core i9) và GPU (GTX 2080 Ti). Bảng kết quả cho

thấy mô hình OCRLMJoint có tốc độ thực thi nhanh nhất trong khi mô

hình OCRLMPipeline có thời gian chạy lâu nhất do phải kết hợp chạy

hai mô hình con.”

SĐH.QT9.BM11 Ban hành lần 1 ngày 11/11/2014

2. Trình bày thêm nghiên cứu liên quan tới nhận dạng tiếng Việt

Nhận dạng chữ viết tay tiếng Việt bước đầu cũng có những sự quan tâm.

Hướng tiếp cận chủ yếu vẫn là rời rạc hoá các ký tự và tiến hành nhận

dạng ký tự đơn lẻ. Việc phân tách ký tự được nghiên cứu với đề xuất của

Van cùng cộng sự, 2015 [34] dựa trên các đặc trưng như độ dốc, cấu trúc

và độ lõm của hình ảnh ký tự để phân tách hiệu quả. Nghiên cứu của

Pham-Van cùng cộng sự, 2014 [28] thực hiện nhận dạng ký tự tiếng Việt

rời rạc. Với mỗi ký tự sau khi được phân tách sẽ được phân loại sơ bộ

bằng việc đếm các thành phần liên thông của ảnh. Sau đó sử dụng đặc

trưng wavelet Haar tạo thành 256 đặc trưng và sử dụng bộ phân loại

SVM để tiến hành gán nhãn chi tiết.

3. Hiệu chỉnh lỗi soạn thảo:

Vị trí

Lỗi

Sau khi chỉnh sửa

Trang 37 dòng 11, 12, 13

label

nhãn

Trang 37 dòng 11

training set

Dữ liệu huấn luyện

Trang 37 dòng 12

test data

Điểm dữ liệu kiểm thử

Trang 37 dòng 14, 21

test

Kiểm thử

Trang 24 dòng 17

Đại diện từ

Biểu diễn từ

Trang 44

ground truth

Nhãn thực tế

Trang 24

Word embedding

Đại diện từ

Ngày 04 tháng 11 năm 2019

Giáo viên hướng dẫn Tác giả luận văn

CHỦ TỊCH HỘI ĐỒNG

Lời cam đoan

Tôi - Nguyễn Thái Bình - cam kết luận văn này là công trình nghiên cứu của bản thân

tôi, dưới sự hướng dẫn của TS. Nguyễn Bình Minh. Các kết quả công bố trong báo

cáo này là trung thực, không phải là sao chép của bất kỳ một cá nhân, hoặc tổ chức đã

được công bố nào khác. Tất cả các trích dẫn được tham chiếu rõ ràng.

Ngày 8 tháng 11 năm 2019

Tác giả luận văn:

Xác nhận của người hướng dẫn

Lời cảm ơn

Đầu tiên, em xin được gửi lời cảm ơn chân thành đến các thầy giáo, cô giáo thuộc

trường đại học Bách Khoa Hà Nội. Đặc biệt là các thầy giáo, cô giáo thuộc Viện

Công nghệ Thông tin và Truyền Thông. Chính các thầy cô giáo đã trang bị cho em

những kiến thức quý báu trong thời gian em học tập và nghiên cứu tại trường. Đồng

thời em cũng xin được gửi lời cảm ơn đặc biệt đến TS. Nguyễn Bình Minh. Các thầy

là người đã chỉ dẫn tận tình, cho em những kinh nghiệm quý báu để em có thể hoàn

thành luận văn tốt nghiệp này. Thầy cô luôn động viên, giúp đỡ em trong những thời

điểm khó khăn nhất.

Em xin gửi lời cảm ơn tới gia đình và bạn bè. Lời động viên tinh thần từ gia đình

và bạn bè luôn là động lực để em tiến lên phía trước.

Học viên: Nguyễn Thái Bình, CB180056, khoá 2018B, lớp 18B.KHDL.KH

Tóm t ắt nội dung

Việc số hoá dữ liệu là một trong những mục tiêu quan trọng trong nhiều ngành nghề

lĩnh vực, Một trong những điểm làm hạn chế việc số hoá hoàn toán chính là việc nhận

dạng chữ viết tay. Đã có nhiều nghiên cứu về bài toán này nhưng tới nay việc nhận

dạng chữ viết tay vẫn còn nhiều vấn đề khó giải quyết, một phần do mỗi người có một

phong cách viết khác nhau nên chữ viết tay rất đa dạng, phần khác do vấn đề về mặt

dữ liệu, việc thu thập chữ viết tay và gán nhãn là điều gặp rất nhiều khó khăn và đặc

biệt với những ngôn ngữ ít phổ biến như tiếng Việt.

Luận văn sẽ trình bày đề tài nghiên cứu nhận dạng chữ viết tay tiếng Việt. Luận

văn sẽ đưa ra những thành tựu nổi bật trong lĩnh vực này, tổng hợp những nghiên cứu

liên quan, những điểm khó khăn trong bài toán nhận dạng chữ viết tay nói chung và

chữ viết tay tiếng Việt nói riêng. Từ đó đề xuất hướng nghiên cứu cho bài toán này

giúp cải thiện độ chính xác trong nhận dạng. Do không có bộ dữ liệu chuẩn, nghiên

cứu đầu tiên sẽ tập trung vào việc tiến hành thu thập, xây dựng tập dữ liệu chữ viết

tay tiếng Việt, tiếp theo sẽ thực hiện nghiên cứu, đề xuất giải pháp giúp làm tăng chất

lượng nhận dạng bằng cách áp dụng mô hình ngôn ngữ vào bộ nhận dạng chữ viết tay.

Mục lục

Lời cam đoan 2

Lời cảm ơn 3

Tóm tắt nội dung 4

Danh sách hình vẽ 8

Danh sách bảng 9

Tổng quan 12

1.1 Động lực nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.2 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.3 Đóng góp của nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . 14

1.4 Cấu tr úc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Cơ sở lý thuyết 16

2.1 Học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.2 Mạng neural . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Thị giác máy tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.4 Xử lý ngôn ngữ tự nhiên . . . . . . . . . . . . . . . . . . . . . . . . 32

Các nghiên cứu liên quan 36

3.1 Nhận dạng ký tự đơn lẻ . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.2 Nhận dạng chuỗi ký tự . . . . . . . . . . . . . . . . . . . . . . . . . 39

3.3 Connectionist Temporal Classification (CTC) . . . . . . . . . . . . . 43

3.4 Mô hình ngôn ngữ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3.5 Mô hình ngôn ngữ có điều kiện . . . . . . . . . . . . . . . . . . . . . 49

3.6 Mô hình transformer . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Dữ liệu chữ viết tay 57

4.1 Thu thập dữ liệu chữ viết tay . . . . . . . . . . . . . . . . . . . . . . 57

4.2 Tạo chữ viết tay từ font . . . . . . . . . . . . . . . . . . . . . . . . . 58

4.3 Các phương pháp tăng cường dữ liệu . . . . . . . . . . . . . . . . . . 59

Mô hình đề xuất 61

5.1 Vấn đề cần giải quyết . . . . . . . . . . . . . . . . . . . . . . . . . . 61

5.2 Mô hình ghép nối (OCRLMPipeline) . . . . . . . . . . . . . . . . . . 62

5.3 Mô hình kết hợp (OCRLMJoint) . . . . . . . . . . . . . . . . . . . . 65

Thử nghiệm đánh giá 68

6.1 Dữ liệu kiểm thử . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

6.2 Cài đặt kiểm thử . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

6.3 Kết quả thử nghiệm và đánh giá . . . . . . . . . . . . . . . . . . . . 72

Kết luận 76

Danh sách hình vẽ

2.1 Multilayer perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.2 Kiến tr úc CNN cho bài toán nhận dạng thực thể trong thị giác máy tính 27

2.3 Ứng dụng nhân chập để làm mờ ảnh . . . . . . . . . . . . . . . . . . 28

2.4 Ứng dụng nhân chập để phát hiện cạnh . . . . . . . . . . . . . . . . . 28

2.5 Một số ứng dụng của phép nhân chập . . . . . . . . . . . . . . . . . 28

2.6 Minh họa hoạt động của phép nhân chập . . . . . . . . . . . . . . . . 29

2.7 Minh họa hoạt động của max pooling layer . . . . . . . . . . . . . . . 31

3.1 Các ví dụ từ tập MNIST test . . . . . . . . . . . . . . . . . . . . . . 36

3.2 Kiến trúc mô hình CRNN được đề xuất bởi Shi cùng cộng sự, 2016 [31] 41

3.3 Ánh xạ giữa các phần của ảnh đầu vào sang vector đặc trưng . . . . . 42

3.4 Kết hợp CTC với mạng neural trong bài toán OCR . . . . . . . . . . . 43

3.5 Gán nhãn ảnh theo không gian . . . . . . . . . . . . . . . . . . . . . 44

3.6 Kết hợp CTC với mạng neural trong bài toán OCR . . . . . . . . . . . 45

3.7 Kiến tr úc mô hình Window-base language model . . . . . . . . . . . 48

3.8 Kiến tr úc mô hình RNN language model . . . . . . . . . . . . . . . . 50

3.9 Kiến tr úc mô hình Encoder - Decoder . . . . . . . . . . . . . . . . . 51

3.10 Kiến tr úc mô hình Transformer . . . . . . . . . . . . . . . . . . . . . 53

3.11 Scale Dot-Product Attention . . . . . . . . . . . . . . . . . . . . . . 54

3.12 Multi-head attention . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

4.1 Mẫu dữ liệu ảnh chữ viết tay địa chỉ ở Việt Nam . . . . . . . . . . . . 57

4.2 Mẫu dữ liệu ảnh chữ viết tay sinh ra từ font . . . . . . . . . . . . . . 58

4.3 Tăng cường dữ liệu bằng phép biến đổi Skewing . . . . . . . . . . . . 59

4.4 Tăng cường dữ liệu bằng phép biến đổi Distortion . . . . . . . . . . . 59

4.5 Tăng cường dữ liệu bằng phép biến đổi Blurring . . . . . . . . . . . . 60

4.6 Tăng cường dữ liệu bằng cách thay đổi nền . . . . . . . . . . . . . . . 60

4.7 Mẫu dữ liệu chữ viết tay sinh ra từ cách ghép từ đơn . . . . . . . . . . 60

5.1 Mô hình CRNN đề xuất bởi Wang cùng cộng sự . . . . . . . . . . . . 63

5.2 Mô hình sequence to sequence . . . . . . . . . . . . . . . . . . . . . 63

5.3 Kết hợp mô hình nhận dạng ký tự quang học với mô hình dịch . . . . 63

5.4 Kiến tr úc mô hình OCRLMJoint . . . . . . . . . . . . . . . . . . . . 65

6.1 Thống kê số lượng ký tự trong một nhãn dữ liệu . . . . . . . . . . . . 69

6.2 Một số mẫu dữ liệu kiểm thử . . . . . . . . . . . . . . . . . . . . . . 74

Danh sách bảng

3.1 So sánh hiệu năng giữa transformer và mạng hồi quy sử dụng LSTM.

Kết quả thực hiện trong nghiên cứu của Lakew cùng cộng sự, 2018 [20] 54

6.1 Kiến tr úc thực nghiệm mô hình CRNN . . . . . . . . . . . . . . . . . 71

6.2 So sánh lỗi nhận dạng giữa các mô hình . . . . . . . . . . . . . . . . 72

6.3 So sánh lỗi nhận dạng tiếng Việt không dấu . . . . . . . . . . . . . . 73

6.4 So sánh ảnh hưởng của mô hình ngôn ngữ tới độ lỗi của các mô hình . 73

6.5 So sánh thời gian chạy mỗi mô hình thực hiện trên dữ liệu test . . . . 74

6.6 Kết quả nhận dạng một số mẫu dữ liệu kiểm thử . . . . . . . . . . . . 75

Danh sách từ viết tắt

ANN Artificial Neural Network

BPTT Backpropagation Through Time

LSTM Long Short-Term Memory

NLP Natural Language Processing

RNN Recurrent Neural Network

RNN-LSTM Recurrent Neural Network sử dụng Long Short-Term Memory

Seq2seq Sequence to Sequence

Danh sách các kí hiệu

 Phép nhân từng thành phần (element-wise multiplication).

m Số chiều vector input.

n Kích thước tầng ẩn.

k Số chiều vector ouput.

L Số tầng RNN trong mạng Deep RNN.

D Tập dữ liệu.

Hàm lỗi tương ứng với input x

Vector input thứ t trong chuỗi input.

Vector kì vọng tương ứng x

Vector output thứ ứng với đầu vào x

b Ma trận thành phần bias giữa các tầng.

U Ma trận trọng số liên kết tầng input và tầng ẩn.

W Ma trận trọng số liên kết 2 tầng ẩn.

V Ma trận trọng số liên kết tầng ẩn và tầng output.

∆U Ma trận cập nhật cho trọng số U.

∆W Ma trận cập nhật cho trọng số V.

∆V Ma trận cập nhật cho trọng số W.

1. Tổng quan

1.1 Động lực nghiên cứu

Nhận dạng ký tự quang học (OCR) là một lĩnh vực nghiên cứu quan trọng, có tính ứng

dụng cao trong hầu hết các lĩnh vực ngành nghề, giúp tiết kiệm công sức lao động.

Với OCR, một lượng lớn các tài liệu giấy được số hoá, không chỉ giúp lưu trữ hiệu

quả mà còn giúp dữ liệu có thể được truy cập, tiếp cận dễ dàng hơn.

Tính ứng dụng của công nghệ OCR thể hiện trong nhiều ngành nghề lĩnh vực, ví

dụ:

• Lĩnh vực tài chính ngân hàng sử dụng OCR trong xử lý séc, form mẫu đơn điền

thông tin. Với quy trình tr uyền thống hiện tại, séc viết ra sẽ được scan, số hoá,

chữ ký được xác minh và séc sẽ được hủy ngay sau đó. Các bước hiện tại đều

phải được xử lý bởi con người, OCR nếu có sẽ góp phần rất lớn làm tăng quá

tr ình xử lý truyền thống, tiết kiệm thời gian và công sức.

• Trong ngành pháp lý, rất nhiều giấy tờ, văn bản được tạo ra như văn bản luật,

bản khai, hồ sơ, di chúc. Với OCR, việc số hoá sẽ giúp việc tìm kiếm, tra cứu dễ

dàng, nhất với các công ty đa quốc gia, cần tra cứu, luật pháp ở thị trường các

nước.

• Lĩnh vực y tế cũng là lĩnh vực cần ứng dụng OCR, đơn thuốc, phác đồ điều trị,

chuẩn đoán, kết luận của bác sĩ có thể được số hoá. Các thông tin này nếu được

tổng hợp trên tất cả các bệnh viện, cơ sở y tế có thể tạo ra cơ sở dữ liệu chăm sóc

sức khoẻ từ đó có thể khai thác giải quyết các bài toán khó trong dự đoán, điều

tr ị bệnh.

Lợi ích của OCR được thể hiện qua các điểm:

• Khả năng tìm kiếm: Khi các văn bản giấy được số hoá, có thể dễ dàng lưu trữ

dưới dạng tệp tài liệu thông dụng như word, pdf, txt. Những file này có thể được

tìm kiếm sử dụng những trình tìm kiếm thông dụng.

• Khả năng chỉnh sửa: Đôi khi những văn bản giấy cần được chỉnh sửa nội dung,

khi đã được số hoá, việc này trở nên rất đơn giản.

• Khả năng truy cập: khi tài liệu được số hoá bởi OCR và lưu trữ trong các cơ sở

dữ liệu, nó có thể được truy cập từ mọi nơi.

• Khả năng lưu trữ, sao lưu: Số hoá tài liệu giúp giảm không gian lưu trữ cho cùng

một loại thông tin. Đồng thời cũng dễ dàng được sao lưu, khôi phục trong trường

hợp bị mất.

• Khả năng dịch: một hệ thống OCR có thể số hoá nhanh các tài liệu giấy, khi kết

hợp với hệ thống dịch thuật, một văn bản ở một ngôn ngữ có thể được chuyển

sang một ngôn ngữ bất kỳ.

Hiện nay nhận dạng ký tự Latin đánh máy được xem là bài toán đã được giải quyết,

tỷ lệ chính xác thực tế đã đạt hơn 99% (một số ứng dụng đòi hỏi tỷ lệ chính xác cao

vẫn cần có con người kiểm tra lại lỗi). Với chữ viết tay, đây vẫn là đề tài cần nhiều

nghiên cứu. Độ chính xác nhận dạng với văn bản chữ viết tay hiện nay còn khá thấp

từ 80% tới 90% chủ yếu là do tính đa dạng trong cách viết và chất lượng của văn

bản scan. Với những ngôn ngữ phổ biến, có nhiều dữ liệu như tiếng Anh, tiếng Nhật,

chất lượng nhận dạng chữ viết tay có thể cao hơn tới 98%, tuy nhiên với những ngôn

ngữ không phổ biến như tiếng Việt, bài toán nhận dạng chữ viết tay vẫn còn rất nhiều

thách thức, chủ yếu là do lượng dữ liệu còn hạn chế từ đó ít được giới nghiên cứu quan

tâm.

1.2 Mục tiêu nghiên cứu

Hành vi phổ biến của con người khi đọc một văn bản là đọc lướt, khi đó mắt thu nhận

một phần nội dung và não sẽ xử lý để ghép nối những nội dung còn thiếu. Ví dụ câu

“Hôm nay tôl đl chơi”. Nhìn qua ai cũng sẽ hiểu nội dung của câu nói đó. Nhưng thực

chất nếu để ý kỹ từng ký tự một, thì chữ ‘i’ trong từ ‘tôi’ và ‘đi’ đã bị thay thế bằng

‘l’. Nếu máy tính xử lý, đây sẽ là một câu ko có ý nghĩa, nhưng với con người điều đó

lại là bình thường.

Hiện tượng thiếu chữ, sai chữ lại càng phổ biến trong văn bản chữ viết tay khi mỗi

người có một phong cách viết khác nhau, cùng một từ mỗi người có thể viết thừa thiếu

chữ cái nào đó. Chất lượng của văn bản scan có thể không đồng nhất, nội dung có thể

bị mất hay nhiễu. Điều này khiến cho mô hình nhận dạng ký tự không thể đưa ra được

nội dung chính xác.

Lấy ý tưởng từ hành vi xử lý của con người, đồ án nghiên cứu sự kết hợp giữa xử

lý ảnh truyền thống (trong nhận dạng ký tự quang học) và mô hình ngôn ngữ (để suy

luận những thông tin còn thiếu từ đầu ra của nhận dạng ký tự), từ đó giúp làm tăng

chất lượng nhận dạng.

1.3 Đóng góp của nghiên cứu

Đồ án tập tr ung vào hai phần chính:

• Xây dựng tập dữ liệu cho nhận dạng chữ viết tay. Do giới hạn về nguồn lực, đồ

án sẽ tập trung xử lý dữ liệu chữ viết tay cho địa chỉ ở Việt Nam. Dữ liệu sẽ được

thu thập từ hai nguồn là dữ liệu thực do người viết và dữ liệu sinh từ font máy

tính.

• Xây dựng mô hình nhận dạng chữ viết tay tiếng Việt. Đồ án sẽ xoay quanh việc

thử nghiệm các cách kết hợp giữa mô hình xử lý ảnh và mô hình ngôn ngữ, so

sánh với các kỹ thuật trong OCR truyền thống và đề xuất mô hình giải quyết bài

toán nhận dạng chữ viết tay với dữ liệu chữ viết tay địa chỉ.