Trong khi OpenAI tốn hàng nghìn tỷ đồng, một công ty Trung Quốc chỉ tốn 6 tỷ để huấn luyện AI
DeepSeek vừa công bố con số gần như không tưởng để tạo ra một AI đủ sức cạnh tranh với các gã khổng lồ công nghệ toàn cầu.
Bí ẩn đằng sau cái giá "rẻ đến bất ngờ"
Trong một động thái gây chấn động giới công nghệ toàn cầu, DeepSeek, công ty trí tuệ nhân tạo đến từ Trung Quốc, đã lần đầu tiên công bố chi phí huấn luyện cho mô hình AI của mình.
Con số gần 294.000 USD (tương đương 6,2 tỷ đồng tiền Việt Nam) cho mô hình R1, được tiết lộ trên tạp chí Nature, không chỉ là một con số biết nói mà còn làm dấy lên một cuộc tranh luận lớn về vị thế thực sự của Bắc Kinh trong cuộc đua AI khốc liệt.
Thông tin này xuất hiện như một sự tương phản rõ rệt với những gã khổng lồ công nghệ Mỹ. Sam Altman, CEO của OpenAI, từng ước tính vào năm 2023 rằng chi phí để đào tạo các mô hình nền tảng có thể cao hơn nhiều so với mốc hơn 100 triệu USD.
Sự chênh lệch khổng lồ này đặt ra một câu hỏi rằng làm thế nào DeepSeek có thể đạt được hiệu quả chi phí đáng kinh ngạc như vậy và liệu đây có phải là một vũ khí bí mật giúp Trung Quốc bứt phá.
Chi phí huấn luyện là một trong những rào cản lớn nhất trong việc phát triển các mô hình ngôn ngữ lớn (LLM), bao gồm chi phí vận hành hàng ngàn con chip xử lý hiệu năng cao liên tục trong nhiều tuần hoặc nhiều tháng.
Ông Liang Wenfeng, nhà sáng lập DeepSeek đã giải mã một phần bí ẩn này. Cụ thể, mô hình R1 được huấn luyện trên một cụm 512 chip Nvidia H800 trong tổng cộng 80 giờ.
Việc sử dụng chip H800 là một chi tiết đáng chú ý. Đây là dòng chip được Nvidia thiết kế riêng cho thị trường Trung Quốc sau khi Washington áp đặt lệnh cấm xuất khẩu các dòng chip mạnh mẽ hơn là H100 và A100 vào tháng 10 năm 2022. Tuy nhiên, những tranh cãi về phần cứng mà DeepSeek sở hữu vẫn chưa có hồi kết.
Lần đầu tiên, trong tài liệu bổ sung của bài báo trên Nature, DeepSeek đã thừa nhận việc sở hữu chip A100 và sử dụng chúng trong giai đoạn chuẩn bị cho các thử nghiệm với một mô hình nhỏ hơn. Lời thừa nhận này, dù chỉ giới hạn ở giai đoạn nghiên cứu ban đầu, cũng phần nào cho thấy năng lực phần cứng của công ty không hề đơn giản.
Cáo buộc đánh cắp công nghệ từ OpenAI
Bên cạnh chi phí và phần cứng, một trong những tâm điểm tranh cãi lớn nhất xoay quanh DeepSeek là cáo buộc sao chép mô hình của OpenAI.
Đây là một kỹ thuật mà một hệ thống AI học hỏi từ một hệ thống AI khác đã được huấn luyện, qua đó thừa hưởng được kiến thức và khả năng của mô hình đi trước mà không phải tốn kém chi phí tính toán khổng lồ.
Trước những cáo buộc từ một cố vấn cấp cao của Nhà Trắng và nhiều chuyên gia AI tại Mỹ, DeepSeek đã đưa ra lời phản hồi, dù không trực tiếp, ngay trong bài báo khoa học của mình. Công ty giải thích rằng dữ liệu huấn luyện cho mô hình V3 của họ được thu thập từ các trang web trên Internet.
Dù vậy, công ty vẫn luôn bảo vệ phương pháp chưng cất như một cách tiếp cận hiệu quả, giúp tạo ra các mô hình AI hiệu suất cao với chi phí thấp hơn đáng kể, từ đó dân chủ hóa và mở rộng khả năng tiếp cận công nghệ AI tiên tiến.
Cách tiếp cận của DeepSeek, kết hợp giữa việc tối ưu hóa chi phí phần cứng và các kỹ thuật huấn luyện thông minh, đang cho thấy một chiến lược phát triển AI đầy tham vọng và khác biệt, hứa hẹn sẽ tiếp tục tạo ra nhiều biến động trên bản đồ công nghệ toàn cầu.