Tính hiệu suất trên mỗi đơn vị công suất (Perf/Watt) và việc điều khiển ứng dụng (Application-Driven LLMs) là những yếu tố quan trọng trong việc cung cấp năng lượng cho Trí tuệ Nhân tạo tạo ra bởi máy tính tại điểm (Edge).
Trí tuệ Nhân tạo tạo ra bởi máy tính (Generative AI) đã thu hút sự quan tâm rộng rãi bằng cách cung cấp cho doanh nghiệp và người tiêu dùng những cơ hội chưa từng có trước đây để trực tiếp sử dụng Trí tuệ Nhân tạo theo những cách trước đây chỉ xuất hiện trong tiểu thuyết khoa học. Tuy nhiên, sự mở rộng về sức mạnh tính toán và khả năng Trí tuệ Nhân tạo đã tạo ra những thách thức, khi huấn luyện và suy luận Trí tuệ Nhân tạo trở thành các nhiệm vụ tính toán chủ đạo của thập kỷ 2020. Đặc biệt, phần cứng hiện được sử dụng để đưa Trí tuệ Nhân tạo vào tầm tay của chúng ta đang trở thành một rào cản đáng kể trong việc mở rộng khả năng của các công nghệ Trí tuệ Nhân tạo mới nổi tới tính toán tại điểm (edge computing), điều này có thể mở ra nhiều giá trị đáng kể.
Cho đến nay, tiến bộ trong Trí tuệ Nhân tạo đã tập trung chủ yếu vào máy chủ và việc huấn luyện các mô hình ngôn ngữ ngày càng lớn hơn. Sự tập trung hiện tại này chỉ là khởi đầu, tạo điều kiện cho việc áp dụng công nghệ rộng rãi hơn thông qua triển khai có khả năng mở rộng tại điểm. Có một loạt các trường hợp sử dụng bổ sung sẽ tạo ra một làn sóng ứng dụng nhúng lớn hơn cho Trí tuệ Nhân tạo, từ robot và thiết bị điện tử tiêu dùng đến an ninh và lái xe tự động. Tuy nhiên, việc đạt được tích hợp ở quy mô này đặt ra những trở ngại công nghệ như hiệu suất năng lượng, điều chỉnh trên thiết bị, độ tin cậy và chi phí, tất cả đều đòi hỏi thiết kế hệ thống trên chip (SoC) phù hợp.
Ambarella, một công ty hàng đầu trong lĩnh vực bán dẫn Trí tuệ Nhân tạo tại điểm, đã luôn tiên phong trong việc cung cấp giải pháp video và Trí tuệ Nhân tạo cho cả nhu cầu tiêu dùng và doanh nghiệp hơn hai thập kỷ. Công ty đã lâu nay đang giải quyết các yêu cầu đặc biệt của tính toán Trí tuệ Nhân tạo tại điểm bằng cách tiếp cận xây dựng SoC Trí tuệ Nhân tạo được tùy chỉnh để chạy các thuật toán cụ thể cho các ứng dụng mà họ nhắm đến, nhằm cung cấp hiệu suất năng lượng tốt nhất trong ngành và độ trễ thấp nhất, đồng thời liên tục cung cấp hiệu suất Trí tuệ Nhân tạo tốt nhất trên mỗi đơn vị công suất với mỗi họ SoC cụ thể cho thị trường. Phương pháp này, mà Ambarella gọi là “algorithm first” (tức “thiết kế thuật toán trước”) hiAmbarella, một công ty hàng đầu trong lĩnh vực bán dẫn Trí tuệ Nhân tạo tại điểm, đã luôn tiên phong trong việc cung cấp giải pháp video và Trí tuệ Nhân tạo cho cả nhu cầu tiêu dùng và doanh nghiệp hơn hai thập kỷ. Công ty đã lâu nay đang giải quyết các yêu cầu đặc biệt của tính toán Trí tuệ Nhân tạo tại điểm bằng cách tiếp cận xây dựng SoC Trí tuệ Nhân tạo được tùy chỉnh để chạy các thuật toán cụ thể cho các ứng dụng mà họ nhắm đến, nhằm cung cấp hiệu suất năng lượng tốt nhất trong ngành và độ trễ thấp nhất, đồng thời liên tục cung cấp hiệu suất Trí tuệ Nhân tạo tốt nhất trên mỗi đơn vị công suất với mỗi họ SoC cụ thể cho thị trường. Phương pháp này, mà Ambarella gọi là “algorithm first” (tức “thiết kế thuật toán trước”), giờ đây đang mở rộng để đáp ứng nhu cầu nặng nề của các công việc Trí tuệ Nhân tạo sáng tạo một cách hiệu quả tại điểm.
Hướng đi chiến lược mới nhất của Ambarella để nhúng các mô hình Ngôn ngữ Lớn (LLMs) và Trí tuệ Nhân tạo sáng tạo vào các ứng dụng Trí tuệ Nhân tạo tại điểm đến vào một thời điểm quan trọng khi các nhà sản xuất thiết kế các thiết bị tại điểm thế hệ tiếp theo đang tìm cách thực hiện bước chuyển quan trọng này. Việc này đáp ứng xu hướng tăng cường sáng tạo Trí tuệ Nhân tạo mã nguồn mở và nhu cầu về các mô hình nằm trong khoảng từ 5 đến 50 tỷ tham số, điều mà Ambarella đã thể hiện được tại điểm. Bằng cách nhắm đến cái gọi là “phần trung gian bị thiếu”, Ambarella nhằm mục tiêu tối ưu hiệu suất năng lượng trên mỗi đơn vị công suất cho thị trường đang phát triển này, bao gồm việc hỗ trợ các mô hình dựa trên transformer khác nhau, cũng như LLMs với tối đa 34 tỷ tham số.
Đặc biệt, việc Ambarella công bố gần đây về nền tảng phát triển Cooper™ cùng với thông báo về dòng sản phẩm SoC N1 mới nhất của mình, làm nổi bật khả năng của công ty để chạy các mô hình Trí tuệ Nhân tạo sáng tạo đa dạng như LLaVA. Thực tế, Ambarella cũng đã trình diễn một số demo trưng bày những khả năng này trong suốt sự kiện, bao gồm truy vấn ngẫu nhiên trực tiếp của một mô hình LLaVA chạy trên SoC N1, cung cấp phân tích văn bản thời gian thực cho cả luồng camera trực tiếp và các hình ảnh tĩnh được chọn ngẫu nhiên (xem Hình 1). Các sản phẩm mới này tiếp tục thể hiện cam kết của Amb
Hình 1: Ambarella trình diễn vi mạch N1 SoC trong suốt CES thông qua các truy vấn thời gian thực của LLM đa phương thức.
Khả năng áp dụng rộng lớn để chạy mô hình dựa trên bộ biến đổi mở rộng cho một loạt ứng dụng GenAI mới, từ máy chủ cạnh mạnh mẽ đến các ứng dụng AI IoT, đồng thời cung cấp trải nghiệm phát triển ưu việt. Bộ gia tốc AI độc quyền của Ambarella, động cơ suy luận CVflow®, hiện đang ở thế hệ thứ ba và được thiết kế từ đầu để cung cấp hiệu suất cao trong suy luận học máy. Điều này cũng là cốt lõi của cách Ambarella cho phép vi mạch N1 SoC mới chạy các mô hình AI LLM mã nguồn mở quan trọng một cách hiệu quả tại điểm cạnh. Bên cạnh phần cứng này, nền tảng phần mềm Cooper mới của Ambarella cung cấp một bộ công cụ toàn diện cho các nhà phát triển, nhằm củng cố cam kết của họ trong việc phổ biến phát triển mô hình AI và tối ưu hóa sức mạnh tính toán cho điểm cạnh trong một loạt ứng dụng rộng lớn.
Sự tiến hóa của Generative AI tại điểm cạnh đại diện cho một mặt trận quan trọng trong lĩnh vực tính toán, với những tác động đáng kể về hiệu suất và hiệu năng trong nhiều ứng dụng. Tìm hiểu thêm về sự tiến hóa của Generative AI và cách Ambarella có thể giúp bạn dẫn đầu làn sóng đổi mới tiếp theo tại điểm cạnh, bao gồm một video về nền tảng phát triển Cooper, một bài báo trắng mới từ Omdia và Ambarella, và đăng ký quan tâm để nhận một bộ phát triển Cooper tại www.ambarella.com/Cooper.
Báo cáo mới từ Omdia và Ambarella: Generative AI Tại Đỉnh Cao Công Nghệ.