AI Agent Cost Calculator

Công cụ tính chi phí tác nhân AI ước tính mức sử dụng mã thông báo và chi phí API cho các tác nhân LLM nhiều bước thực hiện nhiều lệnh gọi API cho mỗi tác vụ của người dùng. Không giống như tương tác chatbot một lượt, các tác nhân AI sử dụng các khung như LangChain, LangGraph, CrewAI hoặc AutoGPT sắp xếp 5 đến 20 lệnh gọi LLM cho mỗi nhiệm vụ khi họ lý luận, lập kế hoạch, thực hiện lệnh gọi công cụ, xử lý kết quả và lặp lại để tìm ra giải pháp. Mẫu nhân lên này có nghĩa là một yêu cầu của người dùng có thể tốn gấp 10 đến 50 lần so với một tin nhắn trò chuyện đơn giản. Máy tính này rất quan trọng đối với các nhóm xây dựng ứng dụng AI tự động trong đó chi phí không thể đoán trước là thách thức kỹ thuật chính. Một nhân viên hỗ trợ khách hàng thực hiện 8 cuộc gọi LLM trên mỗi yêu cầu với khoảng thời gian ngữ cảnh ngày càng tăng có thể tốn từ 0,10 USD đến 0,50 USD cho mỗi yêu cầu trên GPT-4o, so với 0,005 USD cho một phản hồi một lượt đơn giản. Với 50.000 vé hàng tháng, mức chênh lệch là từ 5.000 USD đến 25.000 USD so với 250 USD mỗi tháng. Việc hiểu và kiểm soát chi phí tác nhân xác định liệu ứng dụng tác nhân có khả thi về mặt thương mại hay không. Máy tính mô hình hóa mô hình tích lũy mã thông báo dành riêng cho các tổng đài viên: mỗi bước sẽ gửi toàn bộ lịch sử hội thoại (tất cả lý do, lệnh gọi công cụ và kết quả trước đó) làm đầu vào, tạo ra mức tăng bậc hai trong tổng số mã thông báo đầu vào. Tác nhân 10 bước trong đó mỗi bước thêm 500 mã thông báo ngữ cảnh sẽ không tiêu tốn tổng cộng 10 x 500 = 5.000 mã thông báo đầu vào. Nó tiêu thụ khoảng 500 + 1.000 + 1.500 + ... + 5.000 = 27.500 mã thông báo đầu vào trong tất cả các bước, hệ số nhân 5,5 lần mà ước tính chi phí ngây thơ hoàn toàn bỏ lỡ.

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

1. 1Xác định số lượng cuộc gọi LLM trung bình cho mỗi nhiệm vụ của tổng đài viên. Điều này thay đổi đáng kể tùy theo kiến ​​trúc tác nhân: một tác nhân ReAct đơn giản có thể thực hiện 3 đến 5 cuộc gọi, một tác nhân nghiên cứu với tìm kiếm trên web có 8 đến 12 cuộc gọi và một tác nhân đa công cụ phức tạp có thể lập kế hoạch từ 15 đến 25 cuộc gọi. Đo lường điều này trong các nhiệm vụ tiêu biểu trong quá trình phát triển để thiết lập đường cơ sở thực tế. Số bước là yếu tố điều khiển chi phí chính vì nó xác định cả số lần tính phí mã thông báo đầu ra và mô hình tăng trưởng cửa sổ ngữ cảnh.
2. 2Ước tính số mã thông báo được thêm vào ngữ cảnh ở mỗi bước. Mỗi bước tác nhân thường thêm đầu ra lý luận LLM (100 đến 500 mã thông báo), thông số lệnh gọi công cụ (50 đến 200 mã thông báo) và kết quả công cụ (100 đến 2.000 mã thông báo tùy thuộc vào công cụ). Kết quả tìm kiếm trên web có thể thêm 1.000 đến 5.000 mã thông báo cho mỗi cuộc gọi. Kết quả truy vấn cơ sở dữ liệu có thể thêm 500 đến 3.000 mã thông báo. Bối cảnh tích lũy này được gửi lại làm đầu vào cho mỗi bước tiếp theo, tạo ra sự leo thang chi phí đặc trưng.
3. 3Lập mô hình mô hình tăng trưởng cửa sổ ngữ cảnh. Không giống như các ứng dụng trò chuyện trong đó ngữ cảnh phát triển tuyến tính theo lượt hội thoại, ngữ cảnh của tổng đài viên phát triển theo phương trình bậc hai vì mỗi bước sẽ thêm ngữ cảnh VÀ gửi lại tất cả ngữ cảnh trước đó. Máy tính sử dụng công thức tính tổng hình tam giác: Tổng số mã thông báo đầu vào = N x (N + 1) / 2 x mã thông báo trung bình được thêm vào mỗi bước, trong đó N là số bước. Điều này nắm bắt chính xác mức tiêu thụ mã thông báo đầu vào thực sự mà các ước tính ngây thơ trên mỗi bước tính dưới mức từ 2 đến 5 lần.
4. 4Chọn mô hình LLM của bạn và lưu ý giá đầu vào và đầu ra. GPT-4o ở mức 2,50 USD/10,00 USD trên một triệu mã thông báo là mức phổ biến đối với các đại lý có năng lực. GPT-4o-mini ở mức 0,15 USD/0,60 USD hoạt động cho các tác nhân đơn giản hơn với giao diện công cụ được xác định rõ ràng. Claude Sonnet 4 ở mức $3,00/$15,00 rất phổ biến đối với các đại lý cần được hướng dẫn rõ ràng để tuân theo. Việc lựa chọn mô hình có ảnh hưởng tuyến tính trực tiếp đến chi phí, vì vậy hãy đánh giá xem liệu mô hình rẻ hơn có thể duy trì độ tin cậy của đại lý hay không.
5. 5Yếu tố trong lời nhắc hệ thống và định nghĩa công cụ được gửi sau mỗi bước. Lời nhắc hệ thống đại lý toàn diện (500 đến 2.000 mã thông báo) cộng với 5 đến 10 định nghĩa công cụ (mỗi định nghĩa 200 đến 500 mã thông báo) sẽ thêm 1.500 đến 7.000 mã thông báo chi phí cố định cho mỗi lệnh gọi LLM. Trải qua 10 bước, lời nhắc cố định này có giá từ 15.000 đến 70.000 mã thông báo đầu vào, theo mức giá GPT-4o là 0,04 USD đến 0,18 USD cho mỗi tác vụ chỉ dành cho lời nhắc tĩnh. Giảm thiểu độ dài dấu nhắc và định nghĩa công cụ là một tối ưu hóa đòn bẩy cao.
6. 6Tính chi phí hàng tháng bằng cách nhân chi phí cho mỗi nhiệm vụ với khối lượng nhiệm vụ hàng tháng. Bao gồm bộ đệm phương sai từ 30 đến 50 phần trăm vì số bước tác nhân vốn có thể thay đổi. Một số nhiệm vụ có thể giải quyết theo 3 bước trong khi những nhiệm vụ khác yêu cầu 15 bước. Sự phân bổ thường bị lệch phải, nghĩa là các nhiệm vụ phức tạp không thường xuyên có thể tốn gấp 5 đến 10 lần mức trung bình. Sử dụng chi phí nhiệm vụ ở phân vị thứ 90 (không phải trung vị) để lập kế hoạch ngân sách.
7. 7So sánh với các lựa chọn thay thế không có tác nhân. Nhiều nhiệm vụ dường như yêu cầu tổng đài viên có thể được phân tách thành một quy trình cố định gồm 2 đến 3 cuộc gọi LLM với luồng xác định, loại bỏ số bước không thể đoán trước và sự phát triển ngữ cảnh của tổng đài viên. Một quy trình có cấu trúc của chuỗi phản hồi chuỗi nhắc nhở có chi phí thấp hơn từ 3 đến 5 lần so với một tác nhân tương đương trong khi vẫn cung cấp hiệu suất và chi phí dễ dự đoán hơn. Dành riêng các tác nhân thực sự cho các nhiệm vụ thực sự đòi hỏi khả năng suy luận linh hoạt và lựa chọn công cụ.

• !Ước tính chi phí đại lý theo số bước lần chi phí cho một cuộc gọi:
• !Không thực hiện giới hạn chi phí khi thực thi đại lý:
• !Sử dụng Mô hình toàn năng cho tất cả các bước của tác nhân: