LLM Embedding Cost Calculator

Các công ty thương mại điện tử nhúng hàng triệu mô tả sản phẩm để hỗ trợ các tính năng tìm kiếm ngữ nghĩa giúp hiểu các truy vấn bằng ngôn ngữ tự nhiên như "áo khoác chống nước ấm để đi bộ đường dài" thay vì yêu cầu kết hợp từ khóa chính xác. Một nhà bán lẻ lớn với 5 triệu sản phẩm với trung bình 200 mã thông báo, mỗi sản phẩm sẽ chỉ chi 20 USD bằng cách sử dụng tính năng nhúng văn bản-3-nhỏ để nhúng toàn bộ danh mục của họ, mang lại trải nghiệm tìm kiếm giúp tăng đáng kể tỷ lệ chuyển đổi và giá trị đơn hàng trung bình.

Các công ty công nghệ pháp lý nhúng cơ sở dữ liệu án lệ chứa hàng trăm nghìn ý kiến ​​của tòa án để cho phép luật sư tìm ra các tiền lệ liên quan thông qua các truy vấn ngôn ngữ tự nhiên. Một kho văn bản pháp lý điển hình gồm 500.000 tài liệu với 800 mã thông báo, mỗi mã có 20% chồng chéo có giá khoảng 9,60 USD với tính năng nhúng văn bản-3-nhỏ. Khoản đầu tư một lần này thay thế việc nghiên cứu pháp lý thủ công mà trước đây phải mất hàng giờ cho mỗi vụ việc, mang lại lợi tức đầu tư khổng lồ.

Nền tảng hỗ trợ khách hàng nhúng toàn bộ cơ sở kiến ​​thức về các bài viết trợ giúp, mục Câu hỏi thường gặp và cách giải quyết yêu cầu trước đây để tự động đề xuất câu trả lời có liên quan khi khách hàng gửi yêu cầu mới. Một công ty có 100.000 bài viết hỗ trợ có thể nhúng chúng với giá dưới 1 đô la với văn bản-nhúng-3-nhỏ, sau đó sử dụng độ tương tự cosin để khớp các câu hỏi sắp tới với các giải pháp hiện có. Điều này thường làm chệch hướng 40 đến 60 phần trăm vé trước khi chúng đến tay người đại diện.

Các công ty công nghệ chăm sóc sức khỏe nhúng tài liệu y khoa và hướng dẫn lâm sàng để xây dựng hệ thống tạo tăng cường truy xuất giúp bác sĩ nhanh chóng tìm ra câu trả lời dựa trên bằng chứng cho các câu hỏi lâm sàng. Một cơ sở dữ liệu gồm 2 triệu bản tóm tắt nghiên cứu với 400 mã thông báo, mỗi mã có giá khoảng 16 USD để nhúng. Biểu diễn vectơ cho phép kết hợp ngữ nghĩa để hiểu các từ đồng nghĩa y tế và các khái niệm liên quan theo cách mà tìm kiếm từ khóa truyền thống không thể làm được.

Mô hình nhúng nào mang lại tỷ lệ chi phí trên chất lượng tốt nhất?

Đối với hầu hết các trường hợp sử dụng sản xuất, OpenAI text-embed-3-small mang lại sự cân bằng tốt nhất về chất lượng và chi phí ở mức 0,02 USD trên một triệu mã thông báo. Nó đạt điểm từ 2 đến 5 điểm phần trăm so với tính năng nhúng văn bản-3-lớn trên các điểm chuẩn truy xuất tiêu chuẩn như MTEB trong khi chi phí thấp hơn 85%. Mô hình lớn ở mức 0,13 USD trên một triệu mã thông báo chỉ có giá trị cao khi làm việc với các miền chuyên môn cao, nơi mọi điểm phần trăm của độ chính xác truy xuất đều quan trọng, chẳng hạn như tìm kiếm pháp lý hoặc y tế.

Một tài liệu điển hình chứa bao nhiêu mã thông báo?

Một tài liệu tiếng Anh tiêu chuẩn 500 từ chứa khoảng 625 đến 700 mã thông báo sử dụng mã thông báo BPE. Đối với các ứng dụng RAG, tài liệu thường được chia thành các phân đoạn mã thông báo 256 đến 512 với sự chồng chéo từ 50 đến 128 mã thông báo. Một mã thông báo có khoảng bốn ký tự tiếng Anh hoặc 0,75 từ. Các tập lệnh không phải tiếng Latinh như tiếng Trung, tiếng Nhật và tiếng Hàn có thể sử dụng số mã thông báo nhiều hơn từ 1,5 đến 2 lần cho mỗi từ do cách mã hóa cặp byte xử lý bộ ký tự của chúng.

Tôi nên sử dụng mô hình nhúng nhỏ hay lớn?

Bắt đầu với text-embeding-3-small để phát triển và triển khai sản xuất ban đầu. Đo lường số liệu chất lượng truy xuất của bạn chẳng hạn như thu hồi ở mức k và xếp hạng đối ứng trung bình trên dữ liệu cụ thể của bạn. Nếu các số liệu này nằm dưới ngưỡng chất lượng của bạn, hãy nâng cấp lên text-embed-3-large và so sánh. Trên thực tế, chưa đến 20% nhóm nhận thấy sự cải thiện chất lượng từ mô hình lớn có thể bù đắp được chi phí cao hơn 6,5 lần.

Chi phí nhúng so với chi phí lưu trữ cơ sở dữ liệu vector như thế nào?

Việc tạo nhúng thường là chi phí một lần hoặc không thường xuyên, trong khi lưu trữ vectơ là chi phí liên tục hàng tháng. Đối với một triệu vectơ 1536 chiều, dung lượng lưu trữ thô là khoảng 6 GB. Ở Pinecone, chi phí này có thể từ 70 đến 100 USD mỗi tháng tùy thuộc vào cấu hình nhóm của bạn. Chi phí nhúng ban đầu với tính năng nhúng văn bản-3-nhỏ cho cùng một triệu tài liệu sẽ vào khoảng 10 USD đến 15 USD, phí một lần. Trong một năm, chi phí lưu trữ vectơ thường cao hơn chi phí tạo mã nhúng từ 5 đến 10 lần.

Tôi có thể giảm chi phí nhúng bằng cách giảm kích thước vectơ không?

Có, cả văn bản-nhúng-3-nhỏ và văn bản-nhúng-3-lớn đều hỗ trợ giảm kích thước Matryoshka, cho phép bạn cắt bớt vectơ thành ít kích thước hơn mà không cần nhúng lại. Việc giảm từ 1536 xuống 256 chiều sẽ cắt giảm chi phí lưu trữ và tìm kiếm khoảng 83% mà chất lượng truy xuất chỉ giảm một chút. Kỹ thuật này đặc biệt hữu ích cho các ứng dụng quy mô lớn trong đó chi phí độ trễ lưu trữ và tìm kiếm chiếm ưu thế trong tổng chi phí sở hữu.

Tự lưu trữ các mô hình nhúng nguồn mở có rẻ hơn không?

Các mô hình tự lưu trữ như BGE-large hoặc E5-large-v2 trên GPU đám mây trở nên tiết kiệm chi phí trên quy mô lớn. Một phiên bản GPU A10G có giá khoảng 1 USD/giờ có thể nhúng khoảng 1.000 đến 2.000 tài liệu mỗi giây. Với 10 triệu tài liệu, chi phí tự lưu trữ khoảng 5 đến 10 USD cho thời gian tính toán so với 2 đến 13 USD thông qua API. Tuy nhiên, bạn cũng phải chịu chi phí quản lý, giám sát và mở rộng cơ sở hạ tầng. Điểm hòa vốn thường là khoảng 50 đến 100 triệu token mỗi tháng cho khối lượng công việc đang diễn ra.

Tôi nên nhúng lại tài liệu của mình bao lâu một lần?

Chỉ nhúng lại tài liệu khi nội dung thay đổi đáng kể hoặc khi bạn di chuyển sang mô hình nhúng mới. Để cập nhật nội dung, hãy triển khai tính năng nhúng lại tăng dần để chỉ xử lý các tài liệu đã thay đổi chứ không phải toàn bộ kho văn bản. Hầu hết các nhóm nhúng lại toàn bộ kho văn bản của họ một hoặc hai lần mỗi năm khi nâng cấp lên phiên bản mô hình mới hơn. Việc thiết lập quy trình phát hiện thay đổi gắn cờ các tài liệu đã sửa đổi để nhúng lại giúp giữ chi phí tỷ lệ thuận với tốc độ rời bỏ nội dung thực tế của bạn.