JEST của DeepMind: Giải pháp mới cho vấn đề năng lượng trong đào tạo AI

Phương pháp JEST hoạt động như thế nào?

Khác biệt chính của JEST so với các phương pháp truyền thống là thay vì tập trung vào từng điểm dữ liệu riêng lẻ, nó tập trung vào toàn bộ các batch dữ liệu. Trong quá trình này, một mô hình AI nhỏ hơn được sử dụng để phân loại chất lượng của dữ liệu từ các nguồn cao cấp, sau đó xếp hạng các batch theo chất lượng. Kết quả từ mô hình nhỏ này sau đó được dùng để đào tạo một mô hình lớn hơn.

DeepMind nhấn mạnh rằng để đạt hiệu quả, mô hình cần được đào tạo bằng bộ dữ liệu có chất lượng cao nhất do con người quản lý. Một khi chất lượng dữ liệu không đạt yêu cầu, kỹ thuật này sẽ không hiệu quả, bởi vì nó phụ thuộc vào nguyên tắc “rác vào, rác ra”. Do đó, phương pháp này đòi hỏi kỹ năng quản lý dữ liệu rất cao và có thể không phù hợp với các nhà phát triển AI nghiệp dư.

JEST giúp tiết kiệm năng lượng trong đào tạo AI

Ảnh hưởng của JEST đến ngành công nghiệp AI

Việc áp dụng rộng rãi của JEST trong ngành công nghiệp AI có thể góp phần giảm đáng kể chi phí và tiêu thụ năng lượng trong khi duy trì hiệu quả đào tạo. Tuy nhiên, liệu các công ty lớn có áp dụng phương pháp này không vẫn là một câu hỏi mở, bởi chi phí đào tạo các mô hình AI ngày càng tăng, với dự đoán một số mô hình trong tương lai có thể tiêu tốn tới một tỷ đô la.

Phương pháp JEST có thể là một giải pháp để giảm chi phí và năng lượng, nhưng cũng có thể dẫn đến việc tăng cường sử dụng năng lượng để đạt được tốc độ đào tạo nhanh hơn. Cuối cùng, điều quan trọng là làm thế nào để cân bằng giữa tiết kiệm chi phí và quy mô đầu ra để tối đa hóa hiệu quả.