Uptime Industries vừa giới thiệu Lemony AI – thiết bị "AI-in-a-box" nhỏ gọn dành cho doanh nghiệp muốn vận hành mô hình AI ngay tại cơ sở thay vì lên đám mây. Thiết bị hỗ trợ chạy các mô hình AI lớn mà vẫn đảm bảo bảo mật dữ liệu cho tổ chức.

Lemony AI: Thiết bị AI cầm tay cho doanh nghiệp hiện đại

Lemony AI là sản phẩm mới từ Uptime Industries, hướng đến việc cung cấp giải pháp ứng dụng trí tuệ nhân tạo (AI) tại chỗ. Thiết bị cầm tay, có kích thước tương đương một chiếc sandwich này, được thiết kế để vận hành các mô hình ngôn ngữ lớn (LLM), AI agents và quy trình AI tích hợp chỉ trên một node.

Năng lực nổi bật của Lemony AI

Mỗi thiết bị chỉ cần 65W điện năng, tương đương việc sạc một laptop.
Có thể chạy độc lập LLM lên tới 75 tỷ tham số, hỗ trợ cả mô hình mã nguồn mở và phiên bản chỉnh sửa từ mô hình đóng.
Nhiều thiết bị Lemony AI có thể kết nối (stack, cluster) để tăng năng lực xử lý và tùy chỉnh theo nhu cầu đa dạng của doanh nghiệp.

Đối tác và tính bảo mật dữ liệu

Uptime Industries hợp tác với IBM, JetBrains để khách hàng dễ dàng truy cập các mô hình AI, bao gồm mô hình đóng từ IBM.
Mọi dữ liệu bao gồm tài liệu, email, file đều được xử lý và lưu trữ trên thiết bị nội bộ, không rời khỏi "box" (hộp thiết bị), phù hợp với các tổ chức yêu cầu bảo mật cao như tài chính, y tế, pháp lý.

Hành trình phát triển và lộ trình sản phẩm

Từ thử nghiệm trên Raspberry Pi đến sản phẩm thương mại

Lemony AI ra đời từ ý tưởng thử chạy mô hình ngôn ngữ trên các máy mini như Raspberry Pi. Khi phát hiện tiềm năng ứng dụng AI on-premises, đội ngũ sáng lập đã phát triển một thiết bị hướng tới sự nhỏ gọn và tăng cường quyền kiểm soát dữ liệu.

Kế hoạch mở rộng phần mềm và người dùng

Uptime đang phát triển Lemony OS để có thể vận hành trên phần cứng khác như Nvidia DGX Spark.
Dự kiến sẽ mở rộng từ tập trung một người dùng sang hỗ trợ cho nhiều nhóm người dùng.

Thông tin tài chính và dịch vụ

Lemony AI có giá thuê 499 USD/tháng, hỗ trợ tối đa cho 5 người dùng đồng thời.
Công ty đã huy động 2 triệu USD qua vòng seed từ True Ventures, Alumni Ventures, JetBrains và một số nhà đầu tư thiên thần.

Lemony AI của Uptime Industries cung cấp giải pháp AI cục bộ linh hoạt, đáp ứng yêu cầu bảo mật và khả năng tùy chỉnh phù hợp với nhiều doanh nghiệp. Thiết bị đã thu hút sự quan tâm từ các ngành đòi hỏi bảo mật cao, hứa hẹn mở rộng ứng dụng AI trong doanh nghiệp.

Nội dung về "gpu-accelerated-ai"