Foundation models for natural language processing : pre-trained language models integrating media

Abstract

Cuốn sách truy cập mở này cung cấp cái nhìn tổng quan toàn diện về tình trạng hiện đại trong nghiên cứu và ứng dụng của Mô hình nền tảng và dành cho những độc giả quen thuộc với các khái niệm Xử lý ngôn ngữ tự nhiên (NLP) cơ bản. Trong những năm gần đây, một mô hình mới mang tính cách mạng đã được phát triển cho các mô hình đào tạo NLP. Những mô hình này trước tiên được đào tạo trước trên các bộ sưu tập tài liệu văn bản lớn để có được kiến ​​thức cú pháp chung và thông tin ngữ nghĩa. Sau đó, chúng được tinh chỉnh cho những nhiệm vụ cụ thể mà chúng thường có thể giải quyết với độ chính xác cao. Khi các mô hình đủ lớn, chúng có thể được hướng dẫn bằng các lời nhắc để giải quyết các nhiệm vụ mới mà không cần tinh chỉnh. Hơn nữa, chúng có thể được áp dụng cho nhiều phương tiện và lĩnh vực vấn đề khác nhau, từ xử lý hình ảnh và video đến học điều khiển robot. Bởi vì chúng cung cấp kế hoạch chi tiết để giải quyết nhiều nhiệm vụ trong trí tuệ nhân tạo nên chúng được gọi là Mô hình nền tảng. Sau phần giới thiệu ngắn gọn về các mô hình NLP cơ bản, các mô hình ngôn ngữ được đào tạo trước chính BERT, GPT và biến áp tuần tự được mô tả, cũng như các khái niệm về tự chú ý và nhúng theo ngữ cảnh. Sau đó, các cách tiếp cận khác nhau để cải thiện các mô hình này sẽ được thảo luận, chẳng hạn như mở rộng tiêu chí đào tạo trước, tăng độ dài của văn bản đầu vào hoặc bổ sung thêm kiến ​​thức. Sau đó sẽ trình bày tổng quan về các mô hình hoạt động tốt nhất cho khoảng 20 lĩnh vực ứng dụng, ví dụ: trả lời câu hỏi, dịch thuật, hệ thống hội thoại, tạo hình ảnh từ văn bản, v.v. Đối với từng lĩnh vực ứng dụng, điểm mạnh và điểm yếu của các mô hình hiện tại là được thảo luận và đưa ra triển vọng về những phát triển tiếp theo. Ngoài ra, các liên kết được cung cấp tới mã chương trình có sẵn miễn phí. Chương kết luận tóm tắt các cơ hội kinh tế, giảm thiểu rủi ro và tiềm năng phát triển của AI.