Summary
Highlights
LLM (Large Language Model) trở nên phổ biến sau khi OpenAI giới thiệu ChatGPT. LLM có hai loại chính: Generative Model (tạo ra văn bản, hình ảnh, âm thanh) và Representation Model (giải mã thông tin để phân loại, phân tích cảm xúc, tìm kiếm thông tin).
LLM dự đoán từ tiếp theo trong câu dựa trên dữ liệu từ internet, sách, bài báo. Khả năng này giúp LLM thực hiện nhiều tác vụ như dịch thuật, ngữ pháp, giải toán. LLM không tư duy như con người, mà sao chép suy nghĩ con người dựa trên các thông số toán học.
Cần một lượng lớn dữ liệu (text, hình ảnh, âm thanh) để LLM học. Dữ liệu phải chất lượng, tránh nội dung rác. Fineweb là một dataset mô phỏng lớn, bao gồm 15.000 tỷ token, nặng khoảng 44 TB.
LLM chia nhỏ câu lệnh thành token (từ, cụm từ, ký tự). Token được chuyển hóa thành vector để chương trình học máy nhận ra. Neural Network (Transformer) là cấu trúc chính của LLM. Mô hình tự giám sát, che token trong câu và dự đoán, sau đó cập nhật trọng số để dự đoán chính xác hơn.
Sau huấn luyện, mô hình có thể dự đoán từ tiếp theo với độ chính xác cao, nhưng chưa thể nghe theo hướng dẫn. Base models như Lama của Meta. Để dùng Base Model hiệu quả, cần sử dụng FHO prompting (đưa ra ví dụ về kết quả mong muốn).
Tinh chỉnh base model để vận dụng kiến thức vào tác vụ cụ thể (trả lời câu hỏi). Tạo label data (câu hỏi và câu trả lời) được viết bởi chuyên gia. Model học cách chuyên gia trả lời, từ đó bắt chước. OpenAI thuê người có học thức cao để viết câu trả lời mẫu.
Tăng khả năng lý luận và tạo ra kết quả chất lượng cho LLM. Học từ tín hiệu thưởng phạt của môi trường. Reinforcement Learning from Human Feedback (RLHF): Con người đánh giá kết quả đầu ra. Sử dụng reward model (RM) để mô phỏng cách đánh giá của con người.
Mô hình có khả năng lý luận cao, tạo ra các bước suy nghĩ trung gian trước khi đưa ra câu trả lời cuối cùng. Chain of Reasoning giúp bẻ nhỏ vấn đề phức tạp thành tác vụ đơn giản. Reasoning models có thể thực hiện yêu cầu phức tạp, viết code tốt hơn.
So sánh quá trình huấn luyện LLM và việc học của con người (Pretraining - kiến thức nền, SFT - bài tập có đáp án, RL - luyện tập). Tầm quan trọng của bài giải mẫu, deliberate practice (tập luyện có chủ đích).
Để đưa ra quyết định tốt hơn, hạn chế quyết định ngay khi vừa nảy ra ý tưởng. Các nguồn cập nhật kiến thức về AI: El Marena, The BCH Newsletter, Lex Freedman Podcast. Cần sử dụng LLM một cách thận trọng, kiểm tra thêm nguồn thứ ba.