Trong nhiều năm, trí tuệ nhân tạo quy mô lớn được xem là sân chơi dành riêng cho các trung tâm dữ liệu khổng lồ, nơi những cụm GPU tiêu thụ hàng trăm kilowatt điện ngày đêm để duy trì hoạt động.
Tuy nhiên, một màn trình diễn mới đây của startup Mỹ Tiiny AI đang thách thức trực diện quan niệm đó, khi biến một chiếc máy tính cá nhân 14 năm tuổi thành cỗ máy chạy ChatGPT hoàn chỉnh, không cần Internet.
Buổi demo được Tiiny AI ghi lại trong một cú máy duy nhất, không cắt dựng, cho thấy mô hình GPT-OSS 120B của OpenAI vận hành trên Pocket Lab, một siêu máy tính cá nhân do công ty phát triển. Điều đáng chú ý là Pocket Lab không thay thế chiếc PC cũ, mà đóng vai trò như “bộ não AI” gắn ngoài, cho phép phần cứng lỗi thời thực hiện những tác vụ mà trước đây được cho là bất khả thi.
Theo Tiiny AI, Pocket Lab hướng tới mục tiêu đưa trí tuệ nhân tạo cấp độ đám mây đến với mọi người, không phụ thuộc vào hạ tầng mạng, dịch vụ cloud hay việc nâng cấp GPU đắt đỏ. Sau khi ra mắt vào ngày 10 tháng 12, thiết bị này đã được ghi nhận là miniPC nhỏ nhất có khả năng chạy mô hình ngôn ngữ lớn trên 100 tỷ tham số ở chế độ cục bộ.
Trong thí nghiệm, nhóm nghiên cứu sử dụng một chiếc PC sản xuất năm 2011, trang bị bộ xử lý Intel Core i3-530, 2GB RAM DDR3 và màn hình CRT. Đây là cấu hình vốn chỉ phù hợp cho các tác vụ văn phòng cơ bản. Tuy nhiên, sau khi kết nối với Pocket Lab, hệ thống đã vận hành ChatGPT thành công với tốc độ trung bình khoảng 20 token mỗi giây.
Buổi trình diễn tập trung vào các bài toán suy luận và phân tích. Mô hình trả lời câu hỏi “Bạn là ai?” và sau đó là câu hỏi “Vì sao 1 1=2”, với phần giải thích chi tiết, liền mạch. Riêng câu trả lời thứ hai sử dụng tới 1.582 token, đạt tốc độ xử lý 18,6 token mỗi giây, một con số đáng chú ý trong bối cảnh toàn bộ quá trình diễn ra hoàn toàn ngoại tuyến.
Ông Samar Bhoj, Giám đốc GTM của Tiiny AI, cho biết màn trình diễn này đã phá vỡ một giả định lâu nay của ngành công nghiệp AI. Theo ông, việc chạy mô hình lớn không còn đòi hỏi các cụm GPU khổng lồ hay hạ tầng đám mây phức tạp. Với Pocket Lab, AI tiên tiến có thể hoạt động riêng tư, ngoại tuyến và ngay trên những phần cứng phổ thông, kể cả máy tính đã 14 năm tuổi.
Cốt lõi của Pocket Lab nằm ở hai công nghệ độc quyền mang tên TurboSparse và PowerInfer. TurboSparse giúp tăng hiệu quả tính toán bằng cách chỉ kích hoạt các nơ-ron cần thiết, thay vì toàn bộ mô hình, mà không làm suy giảm năng lực suy luận. Trong khi đó, PowerInfer phân bổ khối lượng công việc giữa CPU và NPU, giúp tối ưu hiệu năng và giảm đáng kể mức tiêu thụ điện so với các hệ thống AI truyền thống dựa trên GPU.
Về mặt phần cứng, Pocket Lab sở hữu CPU ARMv9.2 12 nhân, 80GB bộ nhớ LPDDR5X và ổ SSD 1TB, tất cả được đóng gói trong một thiết bị nặng khoảng 300 gram. Dù nhỏ gọn, cấu hình này đủ để chạy nhiều mô hình mã nguồn mở phổ biến như Llama, Qwen, DeepSeek, Mistral, Phi và GPT-OSS.
Tiiny AI định vị Pocket Lab là nền tảng AI cá nhân, phục vụ nhà sáng tạo nội dung, lập trình viên, nhà nghiên cứu, sinh viên và các chuyên gia cần xử lý dữ liệu nhạy cảm. Thiết bị hỗ trợ suy luận nhiều bước, hiểu ngữ cảnh sâu, vận hành các quy trình tác nhân AI và tạo nội dung mà không cần kết nối mạng.
Một điểm nhấn khác là yếu tố bảo mật. Dữ liệu người dùng, tài liệu và sở thích đều được lưu trữ cục bộ với mã hóa đạt chuẩn ngân hàng, mang lại mức độ riêng tư cao hơn đáng kể so với các hệ thống AI dựa trên đám mây.
Màn trình diễn của Tiiny AI cho thấy một viễn cảnh khác cho tương lai của trí tuệ nhân tạo, nơi sức mạnh tính toán không còn tập trung trong các trung tâm dữ liệu khổng lồ, mà được phân tán về thiết bị cá nhân. Trong bối cảnh AI ngày càng gắn chặt với đời sống, khả năng đưa những mô hình khổng lồ về chạy trên phần cứng phổ thông có thể là bước ngoặt lớn, không chỉ về công nghệ, mà còn về cách con người kiểm soát và sở hữu trí tuệ nhân tạo.
