Làm thế nào để đo lường thành công của ứng dụng AI?

Biểu tượng công cụ ChatGPT do công ty OpenAI phát triển. Ảnh: AFP/ TTXVN

Trí tuệ nhân tạo (AI) - đặc biệt là AI tạo sinh - vẫn là chủ đề được bàn tán sôi nổi kể từ đầu năm tới nay. Các ứng dụng như ChatGPT và LaMDA đã làm chấn động những ngành công nghiệp sáng tạo, với tiềm năng cách mạng hóa cách thức con người làm việc và tương tác với công nghệ.

Một đặc điểm cơ bản giúp phân biệt AI với phần mềm truyền thống là tính chất không xác định của nó. Ngay cả với cùng một dữ liệu đầu vào, các vòng tính toán khác nhau sẽ tạo ra các kết quả khác nhau.

Nhưng dù đặc điểm này đóng góp đáng kể vào tiềm năng công nghệ thú vị của AI nhưng nó cũng đặt ra những thách thức, đặc biệt là trong việc đo lường hiệu quả của các ứng dụng dựa trên AI.

Đặc điểm cũng là thách thức

Không giống như các hệ thống phần mềm truyền thống, nơi mà sự lặp lại và khả năng đưa ra kết quả như dự đoán đóng vai trò rất quan trọng, bản chất không xác định của các ứng dụng AI có nghĩa chúng không tạo ra kết quả nhất quán, dễ đoán định từ cùng một thông tin đầu vào.

ChatGPT chắc chắn sẽ không gây được tiếng vang lớn như vậy nếu nó chỉ lặp đi lặp lại cùng một câu trả lời theo kịch bản, thay vì đưa ra một điều gì đó mới mẻ trong mỗi lần tạo đáp án cho người dùng.

Tính không thể đoán trước này bắt nguồn từ các thuật toán được sử dụng trong học máy (machine learning) và học sâu (deep learning), những công nghệ dựa trên các mô hình thống kê và mạng lưới thần kinh phức tạp. Các hệ thống này được thiết kế để liên tục học hỏi từ kho dữ liệu và đưa ra quyết định cụ thể, dẫn đến các kết quả đầu ra khác nhau dựa trên bối cảnh, thông tin đào tạo và cấu hình hệ thống.

Với các yếu tố như vậy - gồm kết quả mang tính xác suất, thuật toán được lập trình để đảm bảo không lặp lại đáp án, cùng sự phụ thuộc vào các mô hình thống kê - việc xác định thước đo thành công rõ ràng, nhất quán cho những ứng dụng tích hợp AI trở nên khá khó khăn.

Một vấn đề quan trọng khác không kém phần phức tạp là ảnh hưởng của chất lượng và tính đa dạng của dữ liệu. Các mô hình AI phụ thuộc rất nhiều vào dữ liệu mà chúng được đào tạo - đây là những thông tin mà chúng sẽ "học". Do đó, việc đánh giá tính đầy đủ, chính xác, phù hợp và bao quát của dữ liệu đào tạo đóng vai trò quan trọng để xác định mức độ thành công của các ứng dụng AI.

Tuy nhiên, do tính mới mẻ của công nghệ, hiện vẫn thiếu các tiêu chuẩn về chất lượng và tính đa dạng của những dữ liệu mà AI sử dụng.

Ngoài ra, trong một số trường hợp, chính tâm trí con người - cụ thể hơn là cách mỗi người giải thích kết quả theo ngữ cảnh và thành kiến của mình - đã làm phức tạp hóa việc đo lường thành công của các ứng dụng. Các công cụ AI vẫn phải có đánh giá của con người vì chúng cần thích ứng với vô số kịch bản và yếu tố khác nhau, trong đó bao gồm cả thành kiến của người dùng.

Định hướng chiến lược phù hợp

Hiểu được nền tảng phức tạp của công nghệ AI là bước đầu tiên để đưa ra các chiến lược cần thiết nhằm cải thiện việc đánh giá và giúp các công cụ AI hoạt động tốt hơn. Dưới đây là ba chiến lược có thể giúp ích cho những ai muốn xây dựng cách tiếp cận phù hợp hơn để đánh giá các ứng dụng AI của mình.

ChatGPT có thể được đào tạo bằng cách sử dụng phản hồi của người dùng. Ảnh: Search Engine Journal

- Xác định mức độ thành công theo xác suất: Những mô hình đánh giá thành công với các hệ thống phần mềm truyền thống có thể không tương thích với các công cụ AI. Do tính không chắc chắn cố hữu của AI, những người được giao nhiệm vụ đánh giá các ứng dụng này phải đưa ra các chỉ số đo lường hoàn toàn mới, được thiết kế đặc biệt để xác định các kết quả mang tính xác suất. Thay vì chỉ tập trung vào các thước đo hiệu suất như độ phù hợp hoặc độ chính xác, việc kết hợp các thước đo xác suất như khoảng tin cậy hoặc phân bố xác suất có thể đưa ra bức tranh toàn diện hơn về độ thành công của ứng dụng.

- Xây dựng các khung xác nhận và đánh giá nghiêm ngặt: Việc thiết lập các khung xác nhận và đánh giá nghiêm ngặt là điều cần thiết cho các ứng dụng AI. Điều này bao gồm kiểm tra toàn diện, xác định điểm chuẩn dựa trên các bộ dữ liệu mẫu có liên quan và tiến hành phân tích độ nhạy với dữ liệu để đánh giá hiệu suất của AI trong mỗi điều kiện khác nhau. Việc thường xuyên cập nhật, đào tạo lại các mô hình để thích ứng với kho dữ liệu mẫu luôn phát triển sẽ giúp duy trì độ chính xác và độ tin cậy cho các ứng dụng AI.

- Lấy đánh giá của người dùng làm trung tâm: Thành công của AI không chỉ tồn tại trong giới hạn của thuật toán. Chất lượng của kết quả đầu ra xét theo quan điểm của những người nhận được chúng cũng quan trọng không kém. Do đó, cần phải kết hợp phản hồi của người dùng và đánh giá chủ quan của bên phát triển khi đo lường sự thành công của các ứng dụng AI, đặc biệt là đối với các sản phẩm hướng tới người tiêu dùng. Nói cách khác, phía nhà phát triển cần cân bằng các số liệu hiệu suất khách quan với đánh giá đầu ra lấy người dùng làm trung tâm để có cái nhìn toàn diện hơn về hiệu quả của mỗi ứng dụng.

Về tổng thể, việc đo lường sự thành công của bất kỳ ứng dụng AI cụ thể nào cũng đòi hỏi một cách tiếp cận tinh tế, trong khi thừa nhận tính chất xác suất của kết quả đầu ra. Bất kỳ ai tham gia phát triển và tinh chỉnh ứng dụng AI cũng phải nhận ra những thách thức do đặc điểm này đặt ra. Chỉ khi đưa ra những phương pháp đánh giá mới với cách tiếp cận phù hợp, các doanh nghiệp và tổ chức mới có thể điều hướng một cách hiệu quả trong lĩnh vực công nghệ còn non trẻ và chưa được khám phá hết này./.

H.Thủy (Tổng hợp)