Tự Động OCR Hoá Đơn Kế Toán Bằng AI Với Claude Code Và Gemini 3.5 Flash

Mỗi tháng, bộ phận kế toán của một doanh nghiệp vừa và nhỏ phải xử lý hàng trăm hoá đơn. Công việc lặp đi lặp lại này gồm mở từng file, đọc thông tin, gõ lại vào bảng tính rồi đối chiếu số liệu. Nó tốn thời gian, dễ sai sót và gần như không tạo ra giá trị nào ngoài việc chuyển dữ liệu từ chỗ này sang chỗ khác.

Trong bài viết này, mình chia sẻ cách xây dựng một ứng dụng OCR hoá đơn hoàn chỉnh bằng phương pháp vibe coding với Claude Code, kết hợp model Gemini 3.5 Flash để đọc và trích xuất dữ liệu tự động. Toàn bộ quá trình được thực hiện mà không cần viết code tay từng dòng.

Vì Sao Bài Toán Hoá Đơn Đáng Được Tự Động Hoá Trước

Khi tư vấn AI Automation cho doanh nghiệp, mình thường khuyên nên bắt đầu từ quy trình có ba đặc điểm: lặp lại với tần suất cao, có đầu vào và đầu ra rõ ràng, và đo lường được kết quả bằng con số cụ thể.

Xử lý hoá đơn đáp ứng cả ba. Số lượng hoá đơn mỗi tháng là con số cố định, đầu vào là file ảnh hoặc PDF, đầu ra là các trường dữ liệu xác định. Bạn có thể đo được ngay thời gian tiết kiệm sau khi triển khai, thay vì chỉ nói chung chung rằng công việc đã nhanh hơn.

Bước 1: So Sánh Nhanh Các Công Cụ OCR

Trước khi bắt tay vào xây dựng, cần chọn được công cụ xử lý phù hợp. Ba tiêu chí mình dùng để đánh giá gồm độ chính xác khi đọc hoá đơn tiếng Việt, chi phí cho mỗi lần xử lý, và mức độ dễ dàng khi tích hợp vào ứng dụng.

Các công cụ OCR truyền thống thường đọc tốt văn bản in rõ nét nhưng gặp khó khăn khi hoá đơn bị mờ, chụp nghiêng hoặc có bố cục không chuẩn. Ngược lại, các model đa phương thức thế hệ mới có khả năng hiểu ngữ cảnh của cả tờ hoá đơn, nhờ đó trích xuất đúng trường dữ liệu ngay cả khi vị trí thay đổi. Cuối cùng mình chọn Gemini 3.5 Flash vì cân bằng tốt giữa độ chính xác và chi phí, kết nối thông qua OpenRouter để dễ thay đổi model về sau.

Bước 2: Chuẩn Bị Yêu Cầu Và Load Skill Cho Claude Code

Đây là bước quyết định chất lượng của sản phẩm cuối cùng nhưng lại hay bị bỏ qua nhất. Nhiều người mở Claude Code lên và gõ ngay một câu yêu cầu chung chung, kết quả nhận về là một ứng dụng chạy được nhưng không dùng được trong công việc thật.

Những thứ cần chuẩn bị trước gồm:

• Danh sách cụ thể các trường dữ liệu cần trích xuất từ hoá đơn
• Vài mẫu hoá đơn thực tế đại diện cho các trường hợp thường gặp
• Định dạng đầu ra mong muốn, ví dụ file Excel hay CSV với cấu trúc cột rõ ràng
• Các quy tắc nghiệp vụ riêng, ví dụ cách xử lý hoá đơn thiếu thông tin

Khi Claude Code có đủ ngữ cảnh này, nó sẽ tạo ra ứng dụng bám sát nhu cầu thật thay vì một bản demo chung chung.

Bước 3: Vibe Coding Ứng Dụng

Phần này chiếm nhiều thời gian nhất trong video. Nguyên tắc mình áp dụng là chia nhỏ yêu cầu và kiểm tra sau mỗi phần, thay vì đòi hỏi một ứng dụng hoàn chỉnh ngay lập tức.

Thứ tự triển khai gồm dựng khung dự án, xây phần đọc file đầu vào, kết nối tới model qua OpenRouter, xử lý dữ liệu trả về, và cuối cùng là xuất kết quả ra bảng tính. Sau mỗi phần mình chạy thử ngay để phát hiện lỗi sớm. Nếu có lỗi, mình đưa lại thông báo lỗi cho Claude Code để nó tự phân tích và sửa.

Cách làm theo từng bước nhỏ này giúp bạn luôn biết vấn đề nằm ở đâu khi có sự cố, điều gần như không thể nếu để AI viết một lúc toàn bộ ứng dụng.

Bước 4: Kiểm Tra Kết Quả Và Chỉnh Sửa

Một ứng dụng chạy đúng với dữ liệu mẫu đẹp không có nghĩa là nó dùng được trong thực tế. Mình kiểm tra bằng các hoá đơn khó: ảnh chụp nghiêng, chất lượng thấp, có phần chữ viết tay, hoặc bố cục khác với mẫu ban đầu.

Từ những trường hợp lỗi phát hiện được, mình quay lại điều chỉnh prompt xử lý và bổ sung logic kiểm tra dữ liệu. Đây là giai đoạn mà hiểu biết nghiệp vụ của bạn có giá trị hơn kỹ năng lập trình, vì chỉ bạn mới biết kết quả nào là đúng với công việc của doanh nghiệp mình.

Bước 5: Tổng Kết Và Hướng Mở Rộng

Ứng dụng trong video mới chỉ giải quyết phần đọc và tổng hợp hoá đơn. Từ nền tảng này, các bạn có thể mở rộng theo nhiều hướng:

• Tự động sinh báo cáo tổng hợp theo tháng hoặc theo nhà cung cấp
• Kết nối trực tiếp với phần mềm kế toán đang sử dụng
• Mở rộng sang các loại chứng từ khác như phiếu thu, phiếu chi, hợp đồng
• Tự động lấy hoá đơn từ hộp thư email thay vì tải file thủ công
• Thêm bước kiểm tra và cảnh báo khi phát hiện dữ liệu bất thường

Cách tiếp cận này khớp với quy trình bốn bước mà mình vẫn áp dụng khi AI hoá doanh nghiệp, gồm tiếp cận để phân tích quy trình, thử nghiệm với một bản nhỏ có đo lường được, ứng dụng mở rộng cho toàn bộ quy trình, và nâng cấp liên tục sang các quy trình khác.

Công Cụ Sử Dụng Trong Hướng Dẫn

• Claude Code, công cụ vibe coding chính để xây dựng ứng dụng
• Gemini 3.5 Flash, model xử lý OCR và trích xuất dữ liệu hoá đơn
• OpenRouter, nền tảng kết nối API tới các model
• GitHub, quản lý và chia sẻ source code hoàn chỉnh

Ai Có Thể Làm Theo Hướng Dẫn Này

Video và bài viết phù hợp với chủ doanh nghiệp nhỏ, kế toán viên, nhân sự vận hành, hoặc bất kỳ ai đang tìm cách giảm bớt công việc nhập liệu thủ công. Bạn không cần có nền tảng lập trình sâu, nhưng cần hiểu rõ bài toán của mình và kiên nhẫn qua vài vòng thử nghiệm để có kết quả dùng được.

Xem Video Hướng Dẫn Đầy Đủ

Toàn bộ quá trình được quay lại từ đầu đến cuối, các bạn có thể vừa xem vừa làm theo trên máy tính của mình:

Source Code Trên GitHub

https://github.com/hoangtungai/gemini-flash-3.5-ocr

Bạn Đang Có Quy Trình Nào Muốn Tự Động Hoá

Nếu doanh nghiệp của bạn cũng đang mất nhiều thời gian cho những công việc thủ công lặp đi lặp lại, hãy để lại bình luận bên dưới video hoặc liên hệ với mình qua form tư vấn trên website. Mình sẽ chọn những bài toán thực tế nhất để làm nội dung hướng dẫn tiếp theo.