认识达内从这里开始

工业智能技术和大数据技术只有在互联网发展到一定程度后，才能得到广大用户的接触和理解，今天我们将用案例分析的方法来了解大数据和人工智能技术结合应用的发展趋势。

一。大数据底层技术的基本架构已经确定，未来主要是大数据上层应用的开发

早期的Hadoop占据了批量计算的主导地位。目前，Spark的批处理应用已经是主流。Hadoop已经深入到底层HDFS，并基于它为HBase、Spark、Flink等提供服务。卡夫卡在异步消息传递系统中的主导地位在短期内也难以动摇。基本上，主流的实时计算框架或快速数据传输都是建立在卡夫卡之上的。Flink正在实时计算领域出现，并且在这个领域有一个趋势。可见，大数据技术的总体基本格局已经确定，整个技术堆栈丰富成熟。基本上很难与这些组成部分形成竞争。目前，主要随着业务的需要和发展，上层大数据的应用将是一种趋势。以前的大数据组件需要更多的专家级大数据工程师来使用和构建，这也造成了很多问题，比如使用和故障排除阈值。可以预见，大数据的用户将从工程师扩展到分析师、数据科学家，甚至非数据相关产品、设计等。基于这种需求，上层大数据的应用将会越来越多。可以预见，将会有更高效的数据分析平台、可视化数据产品、端到端的可视化人工智能构建产品等上层应用。

2。存储与计算的分离，云计算促进了人工智能应用的异构平台的发展

如果您熟悉Hadoop，就会知道它的一个主要特性是计算和数据的本地化，也就是说，将计算放在数据所在的机器上。随着数据量的增长和网络带宽的提高，越来越多的系统脱离了计算和存储，并没有成为计算的瓶颈。分离计算和存储还有一个很大的优势：它可以更好地控制和隔离计算和存储资源，提高整个平台的稳定性。这是为了一些在线大数据组件(如在线HBase和其他系统)的稳定性和可用性。支持尤其重要。

早期的大数据平台主要以商用机为基础，辅以强大的软件容错功能，不失稳定性。在存储方面，SSD的价格不断下降，越来越多的应用和框架在其上。例如，AeroSpike可以极大地扩展可扩展性，降低纯内存解决方案的成本，而不会通过固态硬盘扩展而损失延迟性能。持久存储器(Persistent memory)存储产品开始上市，这可能给整个数据和存储解决方案带来巨大的创新。在计算方面，gpu被用来提高计算密集型应用(如深度学习)的计算效率。CPU和GPU混合已经成为一种趋势。云计算技术，特别是集装箱化技术，使得各种异构存储和计算的集成成为可能，从而提高了整个数据中心资源的使用效率。

三。集成人工智能平台和大数据平台构建端到端整体解决方案

机器学习/人工智能的发展，特别是在互联网行业的发展，促进了信息技术的发展

大数据平台和人工智能平台的集成。过去，我们需要在大数据平台上建立和测试数据特征，然后按照机器学习训练的要求对数据进行处理，然后上传到人工智能训练平台进行模型训练，经过反复的超参数调整和特征工程工作，该模型经过培训，然后发布到在线系统，以进行实时预测和决策，然后支持各种业务场景，如广告、推荐和风险控制。由此可见，整个过程需要在不同平台之间进行切换和数据传输，甚至每一种数据处理、每一次实验，每一个数据问题都可能导致用户在不同平台之间反复切换。它不仅导致人工智能应用程序的建设效率低下，甚至不能满足不断增长的业务对人工智能应用程序的在线需求。

成都大数据分析培训构建一个完整的端到端大数据机器学习平台已经成为解决上述问题的迫切需要。目前，基本上所有大公司都在或已经成功地将大数据、机器学习和在线服务集成到端到端平台中。这样，最终用户甚至可以无缝地从基于该平台的数据出发，高效地构建整个机器学习模型流水线。在这个过程中，任何数据和模型修正都可以通过一些简单的操作来完成。高效统一。