Nghiên cứu mới của METR chỉ ra rằng AI coding tools không phải lúc nào cũng giúp lập trình viên giàu kinh nghiệm tăng tốc độ làm việc khi giải quyết các nhiệm vụ phức tạp trên kho mã lớn.
Hiệu quả thực tế của AI coding tool trên lập trình viên giàu kinh nghiệm
Các công cụ lập trình AI như Cursor hay GitHub Copilot đã thay đổi quy trình làm việc của lập trình viên trong những năm gần đây. Tuy nhiên, kết quả nghiên cứu từ nhóm phi lợi nhuận METR chỉ ra rằng tác động tới hiệu suất vẫn gây tranh cãi, đặc biệt với lập trình viên có nhiều kinh nghiệm.
Thiết kế nghiên cứu và phương pháp
- 16 lập trình viên nguồn mở lâu năm tham gia vào thử nghiệm ngẫu nhiên
- 246 nhiệm vụ thực tế trên các kho mã lớn, chia thành hai nhóm: được phép dùng AI và không dùng AI
- Chỉ 56% lập trình viên từng dùng Cursor – AI tool chính trong thử nghiệm
- Trước lúc thử nghiệm, lập trình viên dự đoán công cụ AI sẽ giảm 24% thời gian thực hiện công việc
Kết quả: AI có thể làm chậm tiến trình
- Thực tế, việc sử dụng AI coding tool lại kéo dài thời gian hoàn thành công việc thêm 19%
- Lý do chính: thao tác tạo prompt, phải chờ phản hồi từ AI, AI gặp khó với codebase phức tạp
- Nhóm nghiên cứu METR cũng đã huấn luyện các lập trình viên sử dụng Cursor trước thử nghiệm
Phân tích chuyên sâu và khuyến nghị
Các nguyên nhân khiến AI tool giảm hiệu quả
- Lập trình viên tốn nhiều thời gian thao tác với AI thay vì trực tiếp viết mã
- AI đáp ứng kém với các kho mã lớn, phức tạp
- Nhiều lập trình viên chưa quen với Cursor, dù hầu hết từng dùng LLM web
Lưu ý từ nhóm nghiên cứu
Các tác giả METR không khẳng định AI coding tool không mang lại lợi ích cho số đông lập trình viên. Những nghiên cứu lớn hơn từng ghi nhận sự hỗ trợ của AI trong nhiều tình huống. Nhóm cũng cảnh báo về các nhược điểm tiềm tàng của công cụ AI như phát sinh lỗi hoặc vấn đề bảo mật. Ngoài ra, AI vẫn đang tiến bộ nhanh chóng và kết quả nghiên cứu hiện tại chỉ phù hợp với thời điểm khảo sát.
Kết quả từ METR cho thấy AI coding tool chưa chắc đã giúp lập trình viên có kinh nghiệm hoàn thành nhiệm vụ nhanh hơn trong mọi trường hợp, nhất là với các dự án lớn, phức tạp. Người phát triển nên cân nhắc hiệu quả thực tế khi tích hợp AI vào quy trình làm việc của mình.