无效的输入。不支持特殊字符。
全球率先推出的 256GB SOCAMM2
得益于美光突破性的单片式 32GB LPDDR5X 技术,美光 SOCAMM2 扩展了数据中心在低功耗 AI 内存方面的容量。
精选资源
1 结果基于美光内部开展的 Llama3 70B 模型(FP16 量化)实时推理测试,测试配置为:500K 上下文长度;16 个并发用户。此处预计的 TTFT 延迟性能改善基于以下数据:2TB LPDRAM 的每 CPU 延迟为 0.12s;1.5TB LPDRAM 的每 CPU 延迟为 0.28s。
2 结果基于美光内部的 LPDDR5x 功率计算器,以及假设的预估 AI 用例和条件。