人工智能(AI)数据管道与传统的基于文件的IO应用程序本质上不同。AI数据流水线中的每个阶段都有不同的存储IO要求：用于摄取和训练的大量带宽，用于提取，转换，加载(ETL)的混合读/写处理，用于推理的超低延迟以及用于整个数据流水线可见性的单个名称空间。此外，边缘的AI推动了对边缘到核心到云数据管道的需求。因此，解决方案必须满足所有这些不同的要求，并及时提供大规模的见解。传统解决方案缺乏这些功能，并且常常无法满足性能，跨角色共享性和数据移动性要求。行业需要解决方案来克服这些挑战，它们需要AI时代的数据管理，
Weka AI是一个框架，结合了多种技术合作伙伴关系，旨在通过解决与AI等IO密集型工作负载共同的存储挑战，并提供可用于生产的解决方案来加速DataOps。它利用WekaFS来加速AI数据管道，为单个GPU客户端提供超过73 GB /秒的带宽。此外，它还具有版本控制，可解释性和可重复性的操作敏捷性，并通过在线加密和数据保护提供治理和合规性。与WIN计划中的合作伙伴一起设计的解决方案可确保Weka AI将为整个数据管道提供数据收集，工作区和深度神经网络(DNN)培训，模拟，推理和生命周期管理。
引用语录
企鹅计算高级解决方案集团技术和业务开发高级总监Kevin Tubbs
“ Weka AI提供了满足现代AI应用程序要求的解决方案。我们很高兴与Weka合作，加速下一代AI数据管道。”
Groupware数据和AI总监Amrinderpal Singh Oberai
“ Groupware数据和AI团队已经在内部测试并验证了Weka AI参考架构。Weka AI框架为我们提供了灵活性和技术创新，可以与其他ISV技术合作伙伴一起构建定制解决方案，以通过AI解决行业挑战。”
NVIDIA加速计算产品管理总监Paresh Kharya
“用于AI的端到端应用程序性能需要为高性能NVIDIA GPU提供高吞吐量的数据管道。Weka AI利用GPUDirect存储在存储和GPU之间提供直接路径，从而消除了数据密集型AI应用程序的I / O瓶颈。”
Mellanox Technologies市场部高级副总裁Gilad Shainer说：
“ InfiniBand已成为高性能和可扩展AI基础架构的事实上的标准，可在整个网络和网络计算加速引擎中提供高数据。通过InfiniBand上的GPUDirect和GPUDirect存储以及Weka AI框架，为我们共同的客户提供了世界领先的AI应用程序平台。”