Scope giúp doanh nghiệp nhìn thấy khi tác nhân AI đi chệch mục tiêu

AI doanh nghiệp đang bước vào giai đoạn mới. Thay vì giao toàn bộ công việc cho một mô hình, doanh nghiệp bắt đầu triển khai nhiều tác nhân chuyên biệt: bán hàng, kỹ thuật, sản phẩm, tài chính và pháp lý. Mỗi tác nhân có dữ liệu, quyền truy cập và nhiệm vụ riêng.

Trên lý thuyết, đây là một đội ngũ chuyên gia hoạt động liên tục, có thể xử lý công việc nhanh hơn con người. Nhưng nghiên cứu của Outshift, bộ phận ươm tạo công nghệ thuộc Cisco, cho thấy một vấn đề đáng chú ý: trong các cuộc tranh luận thử nghiệm với năm tác nhân AI, có tới 75% trường hợp cả nhóm đồng ý với kết quả sai.

Điều đáng lo không chỉ là AI mắc lỗi. Đó là cả nhóm có thể cùng mắc lỗi, đồng thuận với nhau và vẫn được hệ thống giám sát ghi nhận là hoạt động hiệu quả.

Tin tức chính vừa xảy ra

Vijoy Pandey, Phó chủ tịch cấp cao kiêm Tổng giám đốc Outshift, chia sẻ kết quả nghiên cứu tại hội nghị Agentic Infrastructure Stack Summit của VentureBeat.

Outshift đã dành khoảng tám đến chín tháng nghiên cứu các hệ thống nhiều tác nhân, bao gồm những hệ thống đang vận hành trong môi trường thực tế thuộc lĩnh vực y tế, giám sát video và kỹ thuật nền tảng.

Trong một nhóm vấn đề được khảo sát, mọi phiên làm việc đều xuất hiện lỗi nhận thức. Các tác nhân không thống nhất mục tiêu, không phối hợp công việc, không thương lượng những đánh đổi và không cùng kiểm tra kết quả cuối cùng.

Một nghiên cứu của Berkeley được đề cập trong cuộc trao đổi cũng cho thấy khoảng một phần ba số trường hợp thất bại của tác nhân được khảo sát có thể bắt nguồn từ mục tiêu không đồng nhất.

Vấn đề không nằm ở lượng dữ liệu được cung cấp

Nhiều doanh nghiệp cho rằng chỉ cần xây dựng bộ nhớ dùng chung, đưa quy trình vận hành và kiến thức nội bộ vào hệ thống, các tác nhân sẽ tự động phối hợp tốt hơn.

Nhưng hiểu biết chung không đồng nghĩa với mục tiêu chung.

Hãy tưởng tượng một thương vụ cần năm tác nhân tham gia. Tác nhân bán hàng muốn chốt hợp đồng nhanh, kỹ thuật muốn bảo đảm khả năng triển khai, sản phẩm muốn phát triển đúng tính năng, tài chính bảo vệ lợi nhuận, còn pháp lý kiểm soát nghĩa vụ hợp đồng.

Mỗi tác nhân có thể sở hữu đầy đủ thông tin cần thiết nhưng vẫn tối ưu cho chỉ tiêu riêng.

Kết quả là doanh nghiệp có năm chuyên gia AI hoạt động tốt trong phạm vi nhiệm vụ của mình, nhưng không nhất thiết tạo ra kết quả tốt nhất cho toàn bộ thương vụ.

Một yêu cầu khách hàng có thể tạo ra hai mục tiêu khác nhau

Pandey đưa ra tình huống khách hàng yêu cầu hệ thống hỗ trợ 100.000 người dùng.

Tác nhân bán hàng chuyển yêu cầu này cho nhóm kỹ thuật. Nhưng kỹ thuật hiểu đó là 100.000 người dùng cộng dồn, trong khi khách hàng thực sự muốn 100.000 người dùng đồng thời.

Đây là lỗi thống nhất mục tiêu. Nó xuất hiện trước khi bất kỳ tác nhân nào bắt đầu thực hiện công việc.

Sau đó, vấn đề phối hợp tiếp tục phát sinh. Bán hàng thúc đẩy doanh thu nhanh nhất, kỹ thuật phát triển và kiểm thử, sản phẩm hoàn thiện tính năng, tài chính bảo vệ biên lợi nhuận, còn pháp lý rà soát hợp đồng.

Không tác nhân nào nhất thiết làm sai nhiệm vụ của mình. Tuy nhiên, toàn bộ nhóm vẫn có thể thất bại.

Hóa đơn mã thông báo thấp chưa chắc là hiệu quả cao

Đây là một trong những phát hiện quan trọng nhất của nghiên cứu.

Một nhóm AI tranh luận lâu hơn để tìm ra câu trả lời đúng thường tiêu tốn nhiều mã thông báo hơn nhóm nhanh chóng đồng ý. Nếu chỉ nhìn vào chi phí vận hành, nhóm thứ hai có vẻ hiệu quả hơn.

Nhưng trong thử nghiệm của Outshift, 75% cuộc tranh luận giữa các nhóm năm tác nhân kết thúc bằng việc tất cả đồng ý với kết quả sai.

Các tác nhân đã nhượng bộ lập trường, hội tụ về một kết luận chung mà không thực hiện đầy đủ công việc cần thiết để kiểm tra tính chính xác.

Nói cách khác, hóa đơn thấp đôi khi không phải dấu hiệu của trí tuệ tốt hơn. Nó có thể cho thấy hệ thống đã bỏ qua quá trình tranh luận cần thiết để phát hiện sai sót.

Đây cũng là giới hạn của cách đo hiệu quả AI theo chi phí từng tác nhân hoặc lượng mã thông báo tiêu thụ.

Các công cụ giám sát thông thường không phát hiện được lỗi

Doanh nghiệp hiện theo dõi độ trễ, lỗi kỹ thuật và chi phí sử dụng AI. Những chỉ số này hữu ích để đánh giá tình trạng vận hành, nhưng không cho biết nhóm tác nhân có thực sự hoàn thành mục tiêu hay không.

Một nhóm AI có thể giao tiếp bình thường, không phát sinh lỗi hệ thống, sử dụng ít tài nguyên và hoàn thành quy trình đúng thời hạn. Tuy nhiên, kết quả cuối cùng vẫn sai.

Khi đó, bảng điều khiển giám sát có thể hiển thị trạng thái xanh trong khi kết quả kinh doanh đã chuyển sang đỏ.

Đây là khoảng trống lớn giữa việc đo lường hoạt động của từng tác nhân và đánh giá hiệu quả của toàn bộ nhóm.

Ba lực đẩy khiến hệ thống nhiều tác nhân phức tạp hơn

Outshift cho rằng số lượng tác nhân trong doanh nghiệp sẽ tiếp tục tăng vì ba xu hướng.

Thứ nhất là chuyên môn hóa sâu. Doanh nghiệp tạo tác nhân riêng cho từng nhiệm vụ, đồng thời giới hạn quyền truy cập theo chức năng. Tác nhân tài chính không thể có quyền truy cập giống tác nhân kỹ thuật.

Thứ hai là sự đa dạng nhà cung cấp. Một quy trình xử lý thương vụ có thể kết hợp tác nhân từ Salesforce, Cisco, Microsoft, Harvey và Workday. Mỗi bên sử dụng nền tảng và cách vận hành riêng.

Thứ ba là các động cơ nhận thức. Đây là những tác nhân được triển khai bên cạnh quy trình nghiệp vụ, gồm nhóm bảo vệ an ninh, khả năng mở rộng, tuân thủ và tính sẵn sàng; cùng nhóm tăng tốc xử lý bộ nhớ và suy luận chung.

Khi số lượng tác nhân tăng, số mối quan hệ cần thống nhất cũng tăng theo. Vấn đề không còn đơn giản là kết nối các mô hình với nhau.

Outshift xây dựng lớp phối hợp mới cho AI

Sau khoảng 12 đến 18 tháng kết nối các tác nhân thông qua dự án mã nguồn mở AGNTCY thuộc Linux Foundation, Outshift nhận thấy một vấn đề lớn hơn: các tác nhân có thể giao tiếp được nhưng không nhất thiết cùng hướng đến một kết quả.

Để giải quyết, công ty công bố bốn công cụ trong hệ sinh thái Internet of Cognition.

• Scope phân tích dữ liệu truy vết OpenTelemetry mà doanh nghiệp đã thu thập, nhằm phát hiện khi suy luận và hành động của tác nhân đi chệch mục tiêu chung.

• Accord giúp các tác nhân thống nhất ý định trước khi bắt đầu công việc.

• Concord hỗ trợ phối hợp và thương lượng khi các tác nhân thực hiện nhiệm vụ.

• MAS Lab kiểm tra liệu toàn bộ hệ thống nhiều tác nhân có tạo ra kết quả đúng với mục tiêu mà doanh nghiệp đặt ra hay không.

Accord và Concord hoạt động bên trên các tiêu chuẩn Agent2Agent và Model Context Protocol. Scope phát triển dựa trên những phần mở rộng ngữ nghĩa của OpenTelemetry mà Outshift từng giới thiệu cùng Microsoft.

Bốn công cụ được công bố công khai trên kho mã nguồn của dự án iocproject.

Giá trị kinh doanh chuyển từ số lượng tác nhân sang kết quả

Nếu nhìn từ góc độ kinh doanh, thị trường AI doanh nghiệp đang có một thay đổi đáng chú ý.

Giai đoạn đầu tập trung vào khả năng của mô hình: trả lời tốt hơn, xử lý nhanh hơn, sử dụng ít tài nguyên hơn. Giai đoạn tiếp theo phải giải quyết bài toán phối hợp giữa nhiều hệ thống, nhiều nhà cung cấp và nhiều bộ phận.

Một tác nhân bán hàng tốt không đủ để bảo đảm thương vụ thành công. Một tác nhân kỹ thuật mạnh cũng không thể tự quyết định toàn bộ giá trị của sản phẩm.

Giá trị thực sự nằm ở khả năng biến nhiều năng lực chuyên biệt thành một kết quả thống nhất.

Đây cũng là cơ hội cho những doanh nghiệp cung cấp công cụ giám sát, điều phối, kiểm thử và quản trị hệ thống AI. Khi số lượng tác nhân tăng, nhu cầu kiểm soát chất lượng đầu ra có thể trở thành một lớp hạ tầng quan trọng.

Đối thủ cạnh tranh sẽ không chỉ là các nhà phát triển mô hình

Các nền tảng lớn như Microsoft, Salesforce và Workday có lợi thế từ hệ sinh thái doanh nghiệp, dữ liệu nghiệp vụ và mạng lưới khách hàng. Cisco thông qua Outshift đang tiếp cận một lớp vấn đề khác: làm thế nào để các tác nhân thuộc nhiều hệ thống có thể phối hợp và kiểm chứng kết quả.

Đây không đơn thuần là cuộc cạnh tranh về mô hình AI mạnh hơn. Nó còn là cuộc cạnh tranh về tiêu chuẩn kết nối, khả năng điều phối và độ tin cậy của quy trình.

Tuy nhiên, các công cụ mới vẫn cần chứng minh hiệu quả trong những môi trường triển khai đa dạng. Việc phát hiện sai lệch, thống nhất mục tiêu và kiểm tra kết quả trên quy trình thực tế là những thách thức không thể giải quyết chỉ bằng một giao thức.

Doanh nghiệp Việt Nam cần thay đổi cách triển khai AI

Với doanh nghiệp Việt Nam, đặc biệt là doanh nghiệp vừa và nhỏ, bài học không phải là triển khai càng nhiều tác nhân càng tốt.

Một doanh nghiệp thương mại điện tử có thể dùng AI để tư vấn khách hàng, kiểm tra tồn kho, xử lý đơn hàng và theo dõi thanh toán. Nhưng nếu mỗi tác nhân tối ưu cho một chỉ tiêu riêng, toàn bộ quy trình có thể phát sinh xung đột.

Tác nhân bán hàng có thể hứa thời gian giao hàng quá ngắn. Tác nhân kho hàng không đủ dữ liệu để xác nhận tồn kho. Tác nhân chăm sóc khách hàng lại đưa ra thông tin khác với hệ thống vận hành.

Doanh nghiệp cần xác định mục tiêu chung trước khi chia công việc cho từng tác nhân. Sau đó, phải có cơ chế xử lý bất đồng và kiểm tra kết quả cuối cùng.

Đặc biệt, không nên đánh giá hiệu quả chỉ bằng chi phí mã thông báo, tốc độ phản hồi hoặc số lượng công việc tự động hóa. Cần đo thêm tỷ lệ hoàn thành chính xác, số lỗi được phát hiện, mức độ tuân thủ quy trình và giá trị thực tế tạo ra.

Kỷ nguyên AI cộng tác cần nhiều hơn sự đồng thuận

Một nhóm AI tốt không phải nhóm luôn đồng ý với nhau. Đó phải là nhóm có khả năng phát hiện bất đồng, giải quyết khác biệt và kiểm tra xem kết quả cuối cùng có đúng với mục tiêu ban đầu hay không.

Phát hiện của Outshift đặt ra một câu hỏi quan trọng cho toàn ngành: nếu các tác nhân có thể cùng thống nhất một câu trả lời sai, liệu doanh nghiệp đang xây dựng một đội ngũ thông minh hay chỉ đang tự động hóa sự đồng thuận?

Trong môi trường kinh doanh, đồng thuận không có giá trị nếu kết quả không đúng. Và khi AI ngày càng được trao quyền xử lý những quy trình quan trọng, khả năng tranh luận, phối hợp và tự kiểm chứng sẽ trở thành điều kiện thiết yếu để tự động hóa thực sự tạo ra giá trị.

Scope giúp doanh nghiệp nhìn thấy khi tác nhân AI đi chệch mục tiêu

tác nhân AI, AI đa tác nhân, phối hợp AI, Cisco Outshift, Scope AI, Accord protocol, Concord protocol, MAS Lab, OpenTelemetry, bộ nhớ AI, quản trị AI, tự động hóa doanh nghiệp, hạ tầng AI, doanh nghiệp Việt Nam