Kepler Xây Dựng AI Có Thể Kiểm Chứng Cho Dịch Vụ Tài Chính Với Claude

Chia sẻ: 𝕏 f in @
Kepler Xây Dựng AI Có Thể Kiểm Chứng Cho Dịch Vụ Tài Chính Với Claude

Điểm chính

  • Kepler không dùng Claude để “tự động trả lời mọi thứ”, mà đặt nó vào một hệ thống có lớp kiểm chứng quyết định đằng sau.
  • Trong tài chính, điều quan trọng không chỉ là đúng về mặt kết quả mà còn phải truy vết được từng con số về đúng filing, trang và dòng dữ liệu.
  • Cách Kepler tách nhiệm vụ, chọn model theo từng stage và test mọi thay đổi trước production là một mẫu kiến trúc đáng tham khảo cho các hệ thống AI cần tính audit cao.

Kepler đang xây một nền tảng nghiên cứu cho dịch vụ tài chính nơi nhà phân tích có thể hỏi bằng tiếng Anh tự nhiên và nhận lại câu trả lời có thể kiểm chứng ngay lập tức. Điểm khác biệt không nằm ở việc AI “thông minh hơn”, mà ở chỗ toàn bộ hệ thống được thiết kế để không buộc người dùng phải tin mù.

Trong một môi trường như tài chính, nơi mọi con số trong báo cáo tuân thủ, pitch deal hay research report đều phải audit được, câu hỏi không chỉ là “AI trả lời gì?” mà còn là “con số đó đến từ đâu, và mình kiểm tra nó thế nào?”. Kepler chọn cách giải bài toán này bằng một lớp hạ tầng quyết định, trong đó Claude đóng vai trò suy luận và diễn giải.

Xử lý tác vụ dài nhiều bước và phát hiện mơ hồ

Phân tích tài chính là một trong những loại việc khó nhất để tự động hóa. Dữ liệu dày đặc, phép tính nhiều bước, thuật ngữ chồng chéo, và gần như không có chỗ cho sai số.

Ví dụ, nếu một analyst hỏi inventory days outstanding của một công ty trong 8 quý gần nhất, hệ thống không chỉ cần ra một con số. Nó phải biết công thức đúng, chọn đúng kỳ tài chính, và tính đến các restatement có thể làm thay đổi dữ liệu đầu vào.

Kepler đã benchmark trên nhiều frontier model. Kết quả của họ cho thấy ở các câu hỏi đơn giản, các model cho hiệu năng tương đương nhau. Nhưng khi bài toán kéo dài qua nhiều bước có phụ thuộc lẫn nhau, hầu hết model ngoài Claude bắt đầu đi tắt hoặc mất dấu ràng buộc từ bước thứ tư hoặc thứ năm. Với workload của họ, Claude là model giữ được kế hoạch xuyên suốt một cách ổn định nhất.

Khác biệt rõ nhất nằm ở cách xử lý mơ hồ và giữ con người trong vòng lặp. Nếu một thuật ngữ có thể mang hai nghĩa, nhiều model sẽ chọn một nghĩa rồi đi tiếp. Claude thì dừng lại và hỏi analyst xác nhận.

Trong tài chính, một giả định sai từ rất sớm có thể làm sai toàn bộ phần còn lại. Vì vậy, khả năng nhận ra mơ hồ và chủ động hỏi lại còn quan trọng hơn cả điểm benchmark đẹp.

Xây lớp context quanh Claude

Kepler nhận ra Claude cho kết quả tốt hơn khi được giao các tác vụ định nghĩa rõ ràng, đi kèm kiến thức miền có cấu trúc, định nghĩa chuẩn và ranh giới rõ giữa phần nào Claude phải giải quyết với phần nào cần chuyển sang hệ thống khác.

Họ coi model không phải là toàn bộ hệ thống, mà là một stage trong pipeline. Nhiệm vụ của stage này là nhận đúng đầu vào cần thiết để làm tốt phần việc của nó.

Nói theo cách của đội ngũ Kepler, prompt engineering tối ưu một lời gọi, còn content engineering tối ưu cả hệ thống bao quanh lời gọi đó.

Từ đó, họ xây dựng một loạt thành phần nền tảng:

  • Môi trường thực thi quyết định để Claude có thể gọi vào mỗi phép tính cần độ chính xác tuyệt đối, như tính ratio hay xác định fiscal period.
  • Một ontology riêng ánh xạ khái niệm tài chính sang định nghĩa và công thức chính xác, có thể tùy biến theo từng trường hợp sử dụng.
  • Các lớp kiểm soát bảo mật và quyền truy cập áp dụng ở mọi bước, để mỗi người dùng chỉ truy cập được đúng nguồn dữ liệu được phép.
  • Những skills lặp lại cho các workflow phổ biến, như tính enterprise value trong cấu trúc vốn phức tạp hoặc đối soát segment revenue waterfall qua các thay đổi kỳ báo cáo.

Các skill này phối hợp giữa stage quyết định và stage không quyết định, đồng thời được thiết kế idempotent: cùng một input sẽ luôn cho cùng một output.

Kepler cũng chia workflow thành pipeline nhiều stage, rồi ghép model khác nhau cho từng stage khác nhau. Claude Opus 4.7 được dùng cho suy luận phức tạp như bóc tách intent, giải mơ hồ và tạo execution plan có cấu trúc. Claude Sonnet 4.6 được dùng cho các stage có độ ràng buộc cao hơn và yêu cầu throughput lớn hơn.

Ngoài ra, họ còn huấn luyện các model chuyên biệt riêng cho recall — một số dựa trên Claude, một số là proprietary model của Kepler. Trên bài toán map nhãn báo cáo tài chính sang taxonomy code chuẩn hóa, các model này đạt 94% accuracy, cao hơn mức 38–46% của các model khác.

Mỗi thay đổi ở prompt, model upgrade hay context modification đều được test trên hàng nghìn case trước khi vào production. Kepler xây các pipeline evaluation tự động để so output của Claude với đáp án đúng ở từng stage, cả phần structured plan lẫn kết quả tính cuối cùng.

Khi test fail, họ có thể truy ngược lỗi nằm ở reasoning của Claude, ở context đưa vào, hay ở lớp thực thi phía sau. Khi Anthropic phát hành model mới, Kepler benchmark trong vài giờ và biết chính xác stage nào tốt lên, stage nào tệ đi, và stage nào cần điều chỉnh prompt.

Mở rộng quy mô với Claude

Kepler Finance đã index hơn 26 triệu SEC filings, 14.000+ công ty, 50 triệu+ public documents và 1 triệu+ private documents trải rộng trên 27 thị trường toàn cầu. Claude giúp biến khối dữ liệu phi cấu trúc khổng lồ đó thành thứ có thể dùng được, bằng cách diễn giải câu hỏi trên toàn bộ corpus và chuẩn hóa khác biệt về thuật ngữ giữa các công ty và các mốc thời gian.

Sau đó, retrieval layer của Kepler kéo số liệu từ các SEC filing đã được xác minh, tính toán kết quả, rồi ghép output vào template Excel của desk. Chỉ bằng một cú click, analyst có thể truy ngược từng con số về đúng line item đã được highlight trong tài liệu nguồn.

Sự tách biệt giữa phần suy luận của Claude và hạ tầng quyết định của Kepler giúp một team nhỏ có thể làm ở quy mô lớn như vậy. Claude xử lý lớp diễn giải mà nếu không có nó sẽ cần rất nhiều NLP engineer chuyên domain. Phần còn lại do hạ tầng của Kepler đảm nhiệm.

Nhờ kiến trúc mô-đun, các capability mới vốn có thể mất cả team lớn nhiều tháng mới ship được nay có thể hoàn thành trong vài tuần. Họ cải thiện phần reasoning ở một stage mà không cần chạm vào toàn bộ pipeline.

Vì các tổ chức tài chính yêu cầu hạ tầng tuân thủ trước khi họ bắt đầu làm việc, Kepler đã xây sẵn audit logging đầy đủ, môi trường khách hàng tách biệt và provenance end-to-end ngay từ đầu. Nền tảng của họ cũng đã đạt SOC 2 Type II, và ISO 27001 đang trong quá trình hoàn tất.

Thiết kế của Kepler là domain-agnostic. Họ bắt đầu từ tài chính có chủ đích, vì đây là một trong những môi trường khắt khe nhất cho AI: dữ liệu dày, thuật ngữ chồng chéo, phép tính phức tạp và gần như không có chỗ cho lỗi. Kiến trúc đủ sức chịu được mức kiểm tra đó cũng áp dụng được ở những nơi khác cần câu trả lời có thể kiểm chứng từ kho tài liệu lớn.

Từ bệnh viện đối soát dữ liệu thử nghiệm lâm sàng với phác đồ điều trị, cho đến team pháp lý truy vết án lệ qua hàng thập kỷ, mẫu hình vẫn giống nhau: Claude suy luận về câu hỏi, còn hạ tầng bảo đảm tính đúng của câu trả lời.

“Kepler Finance là sản phẩm đầu tiên của chúng tôi,” Ganesh nói. “Nó sẽ không phải là sản phẩm cuối cùng.”

Best practices từ đội Kepler

Giao Claude đúng công việc

Retrieval là việc của query engine. Computation là việc của formula engine. Hãy để Claude xử lý phần diễn giải, bóc tách và suy luận.

Ghép model với từng stage

Dùng Opus cho suy luận phức tạp và Sonnet cho các tác vụ có ràng buộc cao, throughput lớn. Nếu dồn mọi thứ vào một model, bạn sẽ bỏ lỡ hoặc chất lượng, hoặc chi phí.

Đầu tư vào evaluation trước khi tối ưu prompt

Hãy xây pipeline tự động để test output của Claude với đáp án đúng ở từng stage. Test từng stage riêng lẻ và cả toàn pipeline end-to-end. Trong tài chính, một regression không bị phát hiện có thể khiến bạn mất khách hàng vĩnh viễn.

Thiết kế provenance ngay từ ngày đầu

Người làm tài chính được đào tạo để kiểm chứng mọi thứ. Vì vậy, provenance phải là một phần của kiến trúc hệ thống chứ không phải thứ gắn thêm vào sau cùng.

Kết luận

Câu chuyện của Kepler cho thấy một điều rất rõ: với các bài toán tài chính, AI hữu ích không phải là AI trả lời thật nhanh, mà là AI trả lời theo cách có thể audit, truy vết và tin cậy được.

Claude đóng vai trò suy luận và diễn giải. Kepler cung cấp lớp kiểm chứng, công thức, kiểm soát truy cập và provenance. Khi hai lớp này được ghép đúng, AI không còn là hộp đen, mà trở thành một phần của hệ thống nghiệp vụ có thể mở rộng.

Đây là một mẫu kiến trúc đáng học nếu bạn đang xây AI cho bất kỳ lĩnh vực nào yêu cầu độ tin cậy cao: đừng bắt model gánh toàn bộ trách nhiệm. Hãy để nó làm phần nó giỏi nhất, rồi bọc quanh nó một hệ thống đủ chặt để mỗi câu trả lời đều có thể được kiểm tra đến tận nguồn.

Bình luận