Enhancing automatically taxonomy construction via sentence embeddings and large language models

Abstract

Giới thiệu phương pháp mới để xây dựng phân loại chủ đề tự động bằng cách sử dụng mô hình ngôn ngữ lớn (LLM). Phương pháp này khắc phục hạnh chế của word2vec - chỉ tập trung vào mối quan hệ cú pháp và không nắm bắt được ngữ nghĩa sâu hoặc ngữ cảnh trong văn bản dài. Tạo điểm tương đồng giữa các cặp từ khóa, mô hình nhúng câu được huấn luyện để nhận diện mối quan hệ ngữ nghĩa và ý nghĩa phụ thuộc vào ngữ cảnh, xây dựng phân loại chính xác và ý nghĩa hơn.