Cerebras ซึ่งเป็นบริษัทสตาร์ทอัพด้านปัญญาประดิษฐ์ในรัฐแคลิฟอร์เนีย ได้เปิดตัว Cerebras Inference ในวันนี้ โดยอ้างว่าเป็นโซลูชัน AI Inference ที่เร็วที่สุดในโลก ในบทความบล็อกของบริษัท Cerebras ระบุว่า "Cerebras Inference ให้ผลลัพธ์ที่ 1,800 โทเค็นต่อวินาทีสำหรับ Llama3.1 8B และ 450 โทเค็นต่อวินาทีสำหรับ Llama3.1 70B ซึ่งเร็วกว่าคลาวด์ระดับไฮเปอร์สเกลที่ใช้ GPU ของ NVIDIA (NVDA-US) ถึง 20 เท่า"
Cerebras Inference ได้รับการสนับสนุนจาก Wafer-Scale Engine รุ่นที่สาม โดยบริษัทอ้างว่าโซลูชัน GPU ของบริษัททำงานในราคาที่ถูกกว่าคู่แข่งถึงห้าเท่า และสามารถเพิ่มความเร็วได้มากขึ้นด้วยการกำจัดข้อจำกัดของแบนด์วิธหน่วยความจำ Cerebras กล่าวเพิ่มเติมว่า "Cerebras ได้สร้างชิปที่ใหญ่ที่สุดในโลก และเก็บแบบจำลองทั้งหมดไว้บนชิป ซึ่งแก้ไขปัญหาข้อจำกัดของแบนด์วิธหน่วยความจำ"
Micah Hill-Smith ผู้ร่วมก่อตั้งและ CEO ของ Artificial Analysis กล่าวว่า Cerebras เป็นผู้นำในเกณฑ์มาตรฐาน AI Inference ของ Artificial Analysis "Cerebras ให้ความเร็วที่มากกว่าผลิตภัณฑ์ที่ใช้ GPU ถึงระดับหนึ่ง สำหรับโมเดล AI Llama 3.1 8B และ 70B ของ Meta เราได้วัดความเร็วกว่า 1,800 โทเค็นต่อวินาทีใน Llama 3.1 8B และความเร็วกว่า 446 โทเค็นต่อวินาทีใน Llama 3.1 70B"
Cerebras ได้ยื่นขอเสนอขายหุ้นต่อสาธารณะครั้งแรกเมื่อต้นเดือนนี้ และคาดว่าจะเข้าตลาดหุ้นในช่วงครึ่งหลังของปีนี้