Volantis gọi vốn 88 triệu USD để phá “bức tường bộ nhớ” của GPU AI

Volantis, startup bán dẫn có trụ sở tại San Francisco, vừa huy động 88 triệu USD trong vòng Series A để giải quyết một trong những nút thắt lớn nhất của hạ tầng AI hiện nay: tốc độ truyền dữ liệu giữa GPU và bộ nhớ. Thay vì tiếp tục dựa hoàn toàn vào kết nối điện truyền thống, Volantis muốn sử dụng ánh sáng để đưa dữ liệu tới bộ nhớ nhanh hơn và xa hơn.

Volantis huy động 88 triệu USD cho công nghệ chip AI mới

Volantis công bố vòng gọi vốn Series A trị giá 88 triệu USD, do Lachy Groom và Abstract Ventures đồng dẫn dắt.

Tham gia vòng đầu tư còn có John Doerr, VXI Capital, Triatomic, Susa Ventures cùng một số nhà đầu tư thiên thần như Dwarkesh Patel, Naveen Rao và Sholto Douglas.

Theo Volantis, sau vòng Series A này, tổng số vốn startup đã huy động đạt khoảng 97 triệu USD.

Khoản đầu tư mới sẽ được sử dụng để tiếp tục phát triển kiến trúc phần cứng dành cho AI inference, mở rộng đội ngũ kỹ sư và đưa hệ thống đầu tiên của công ty tiến gần hơn tới giai đoạn triển khai thực tế.

Vấn đề không chỉ nằm ở sức mạnh của GPU

Trong cuộc đua AI hiện nay, các hãng như NVIDIA và AMD liên tục phát triển GPU có khả năng tính toán ngày càng lớn.

Tuy nhiên, tăng số lượng nhân xử lý không đồng nghĩa toàn bộ hệ thống sẽ nhanh tương ứng.

Một vấn đề ngày càng rõ ràng là GPU phải liên tục lấy dữ liệu từ bộ nhớ.

Các mô hình AI lớn chứa hàng tỷ, thậm chí hàng nghìn tỷ tham số. Trong quá trình inference, hệ thống phải di chuyển một lượng dữ liệu khổng lồ giữa bộ nhớ và các đơn vị tính toán.

Nếu GPU có khả năng xử lý rất nhanh nhưng dữ liệu từ bộ nhớ không được cung cấp đủ nhanh, GPU sẽ phải chờ.

Hiện tượng này thường được gọi là:

Memory Wall – “bức tường bộ nhớ”.

Nói đơn giản:

GPU có thể ngày càng mạnh, nhưng nếu đường vận chuyển dữ liệu giữa GPU và RAM không theo kịp, sức mạnh tính toán đó sẽ không được khai thác hoàn toàn.

Đây chính là bài toán Volantis muốn giải quyết.

HBM đang giải quyết bài toán này như thế nào?

Các GPU AI cao cấp hiện sử dụng HBM – High Bandwidth Memory, loại bộ nhớ có băng thông rất cao và được đặt rất gần chip xử lý.

HBM là một trong những thành phần quan trọng giúp GPU AI hiện đại đạt hiệu năng cao.

Tuy nhiên, cách tiếp cận này có nhiều giới hạn.

Khoảng cách truyền tín hiệu điện càng xa thì việc duy trì tốc độ cao, mức tiêu thụ điện hợp lý và chất lượng tín hiệu càng khó.

Điều đó hạn chế số lượng bộ nhớ có thể đặt xung quanh GPU.

Theo Reuters, Volantis lấy ví dụ các thiết kế GPU hàng đầu hiện nay chỉ có thể kết nối khoảng 8 cụm bộ nhớ HBM quanh một GPU, trong khi kiến trúc của startup hướng tới khả năng kết nối tới 220 chip nhớ.

Nếu đạt được mục tiêu đó, lượng bộ nhớ mà một bộ xử lý AI có thể truy cập sẽ tăng đáng kể.

Volantis muốn thay dây điện bằng ánh sáng

Điểm khác biệt lớn nhất trong công nghệ của Volantis nằm ở photonic interconnect – kết nối quang học.

Thay vì truyền dữ liệu hoàn toàn bằng tín hiệu điện qua những đường dẫn kim loại, Volantis sử dụng ánh sáng để truyền dữ liệu giữa bộ xử lý và bộ nhớ.

Ý tưởng này có một ưu điểm quan trọng:

Ánh sáng có thể truyền dữ liệu băng thông cao trên khoảng cách lớn hơn mà không gặp những hạn chế giống đường truyền điện truyền thống.

Volantis gọi kiến trúc của mình là một optical fabric.

Hệ thống sử dụng các laser siêu nhỏ gọi là:

VCSEL – Vertical-Cavity Surface-Emitting Laser

Đây không phải công nghệ hoàn toàn xa lạ.

VCSEL đã được sản xuất ở quy mô lớn và được sử dụng trong nhiều hệ thống cảm biến quang học, trong đó có các công nghệ nhận diện khuôn mặt trên thiết bị điện tử.

Việc sử dụng một công nghệ đã có chuỗi cung ứng tương đối trưởng thành có thể giúp Volantis tránh một phần khó khăn thường xuất hiện khi thương mại hóa các công nghệ quang học hoàn toàn mới.

Vì sao kết nối quang học có thể quan trọng với AI?

Đối với AI inference, hai yếu tố đặc biệt quan trọng là:

Dung lượng bộ nhớ và băng thông bộ nhớ.

Một mô hình càng lớn thì càng cần nhiều bộ nhớ để chứa trọng số.

Trong khi đó, muốn tạo token nhanh, GPU phải đọc lượng dữ liệu rất lớn từ bộ nhớ trong thời gian cực ngắn.

Các kiến trúc hiện tại thường phải đánh đổi giữa hai yếu tố này.

SRAM có tốc độ rất cao nhưng dung lượng đắt đỏ và hạn chế.

HBM cung cấp dung lượng lớn hơn nhưng việc tiếp tục mở rộng băng thông và số lượng bộ nhớ xung quanh GPU ngày càng phức tạp.

Volantis cho rằng kiến trúc quang học của họ có thể tăng đồng thời cả:

• dung lượng bộ nhớ;
• băng thông bộ nhớ;
• phạm vi kết nối;
• số lượng chip nhớ có thể được một bộ xử lý truy cập.

Đây là lý do startup gọi mục tiêu của mình là “demolishing the memory wall” – phá bỏ bức tường bộ nhớ.

A-1: hệ thống AI đầu tiên của Volantis

Sản phẩm đầu tiên được Volantis công bố có tên A-1.

Theo công ty, A-1 được thiết kế cho AI inference quy mô rất lớn.

Volantis đặt mục tiêu hệ thống có thể xử lý các mô hình vượt 20 nghìn tỷ tham số và đạt tốc độ lên tới 10.000 token mỗi giây cho mỗi người dùng trong một số kịch bản.

Nếu công nghệ đạt được các mục tiêu này trong sản phẩm thương mại, tác động đáng chú ý không chỉ nằm ở chatbot.

Một trong những ứng dụng Volantis nhấn mạnh là AI coding agent.

Thay vì mất nhiều phút để đọc repository, phân tích mã nguồn rồi thực hiện một nhiệm vụ lập trình, hệ thống có băng thông bộ nhớ cực lớn về lý thuyết có thể đưa một lượng context lớn hơn tới mô hình nhanh hơn đáng kể.

Tuy nhiên, các thông số trên hiện chủ yếu là mục tiêu và tuyên bố kỹ thuật từ Volantis. Hiệu năng thực tế vẫn cần được kiểm chứng khi phần cứng hoàn chỉnh được giao cho khách hàng và benchmark trên workload thực tế.

220 chip nhớ quanh một GPU có ý nghĩa gì?

Con số đáng chú ý nhất trong kiến trúc Volantis là khả năng mà công ty hướng tới: kết nối tới khoảng 220 chip nhớ với một GPU.

Điểm quan trọng không đơn thuần là “GPU có nhiều RAM hơn”.

Vấn đề nằm ở khả năng xây dựng một memory pool cực lớn với băng thông cao.

Hãy tưởng tượng GPU giống một nhà máy.

GPU càng mạnh thì dây chuyền sản xuất càng nhanh.

Bộ nhớ là kho nguyên liệu.

Kết nối giữa GPU và bộ nhớ chính là hệ thống vận chuyển.

Bạn có thể xây một nhà máy mạnh gấp 10 lần, nhưng nếu xe vận chuyển nguyên liệu vẫn chạy với tốc độ cũ thì nhà máy vẫn phải ngồi chờ.

Volantis muốn thay hệ thống vận chuyển đó bằng một mạng lưới tốc độ cao sử dụng ánh sáng.

Cuộc đua AI đang chuyển từ GPU sang toàn bộ hệ thống

Trong những năm đầu của làn sóng AI tạo sinh, phần lớn sự chú ý tập trung vào sức mạnh tính toán của GPU.

Nhưng khi mô hình ngày càng lớn, hiệu năng AI ngày càng phụ thuộc vào toàn bộ kiến trúc hệ thống:

GPU → bộ nhớ → interconnect → networking → storage → cooling.

Bất kỳ thành phần nào không theo kịp cũng có thể trở thành nút thắt.

Đây cũng là lý do các công nghệ như HBM, chiplet, advanced packaging, silicon photonics và optical interconnect ngày càng nhận được nhiều sự quan tâm.

Volantis không nhất thiết phải tạo ra GPU mạnh hơn NVIDIA.

Startup đang nhắm tới một lớp khác của hệ thống:

làm cho bộ xử lý AI có thể tiếp cận lượng dữ liệu lớn hơn với tốc độ cao hơn.

Nếu bài toán này được giải quyết, các GPU và accelerator trong tương lai có thể khai thác hiệu quả hơn năng lực tính toán vốn đã rất lớn của chúng.

Đội ngũ Volantis có nhiều kinh nghiệm trong ngành chip

Một yếu tố khiến Volantis nhận được sự chú ý là đội ngũ sáng lập và kỹ thuật.

Theo công ty, các thành viên trong đội ngũ từng làm việc tại những doanh nghiệp như:

NVIDIA, AMD, Broadcom và Ayar Labs.

Họ từng tham gia phát triển các công nghệ liên quan tới advanced packaging, CoWoS, silicon photonics và VCSEL.

Đây đều là những lĩnh vực đang trở nên quan trọng khi ngành bán dẫn tìm cách vượt qua giới hạn của việc chỉ thu nhỏ transistor.

Thách thức lớn nhất vẫn nằm ở thương mại hóa

Ý tưởng truyền dữ liệu bằng ánh sáng trong hệ thống máy tính không mới.

Thách thức lớn là biến nó thành một hệ thống có thể:

• sản xuất với số lượng lớn;
• hoạt động ổn định;
• có mức tiêu thụ điện hợp lý;
• tích hợp với hệ sinh thái chip hiện tại;
• có chi phí đủ thấp để các trung tâm dữ liệu sử dụng;
• mang lại lợi thế rõ ràng so với HBM và interconnect điện truyền thống.

Advanced packaging cũng là một bài toán phức tạp.

Việc đặt hàng trăm thành phần bộ nhớ và các module quang học trong một hệ thống đòi hỏi công nghệ đóng gói, kiểm soát nhiệt và sản xuất có độ chính xác rất cao.

Do đó, vòng gọi vốn 88 triệu USD mới chỉ là một bước trong hành trình đưa kiến trúc của Volantis từ phòng thí nghiệm tới trung tâm dữ liệu.

Volantis dự kiến đưa sản phẩm tới khách hàng từ 2027

Volantis đặt mục tiêu đưa phần cứng đầu tiên tới khách hàng vào năm 2027.

Đây sẽ là cột mốc quan trọng để kiểm chứng liệu kiến trúc optical memory của công ty có thực sự mang lại những cải thiện lớn như kỳ vọng hay không.

Nếu thành công, công nghệ của Volantis có thể mở ra một hướng đi đáng chú ý cho AI infrastructure:

thay vì chỉ cố xây GPU mạnh hơn, hãy phá bỏ nút thắt khiến GPU không thể nhận dữ liệu đủ nhanh.

Và khi các mô hình AI tiếp tục tăng từ hàng trăm tỷ lên hàng nghìn tỷ tham số, “bức tường bộ nhớ” có thể trở thành một trong những chiến trường quan trọng nhất của ngành bán dẫn.