微软投资的硅谷初创公司d-Matrix近日宣布,其首款人工智能芯片Corsair开始出货。
该公司声称,与GPU和其他替代方案相比,Corsair提供了性能、能源效率和成本节省。
对于AI推理运算,数据传输是最大的瓶颈,它需要大量内存,也需要非常快的内存,但两者却很难兼顾。
目前的解决方案主要有三种,第一种是通过采样和流水线减少处理的数据量来加速深度学习,但也限制了准确性和精确性。
第二种是在传统的处理器附近设置专用AI引擎的处理器,苹果、英伟达、Intel和AMD都采用这种方式,但这要集成SRAM和外部DRAM,仍然是高能耗和低效率。
第三种是将计算移动到内存附近,也就是d-Matrix采用的方法,这种叫数字存算一体(DIMC)的技术架构降低了延迟,减少了消耗。
因此非常适合AI推理,因为推理会涉及一个相对静态(但大型)的权重数据集,这个数据集被反复访问,DIMC消除了大部分能量转移费用和数据移动的延迟。
得益于DIMC,Corsair可提供150TB/s的超高内存带宽,交互速度提高AG真人国际了10倍,能效提高了3倍。
其他方面,Corsair芯片采用行业标准的PCIe Gen5全高全长卡外形,通过DMX Bridge卡连接成对的卡。
每张Corsair卡都由多个DIMC计算核心驱动,具有2400 TFLOP的8位峰值计算能力、2GB的集成性能内存和高达256GB的片外容量内存。