数据挖掘与学习在企业大数据平台应用中面临的技术挑战

在实施大数据的过程中,企业仍面临着数据收集和获取、数据存储和查询、数据处理和计算、数据挖掘和学习、数据理解和应用、数据管理和扩展等诸多技术挑战。在数据挖掘和学习应用中,存在以下技术挑战:

技术挑战

算法本身的优化。由于计算复杂性高,大量算法运行时间长,无法满足实时业务需求;此外,许多现有算法的计算过程不适合转换为高度并行化和分布式操作逻辑。这对算法本身的优化甚至创建提出了更高的要求。

非标准化知识挖掘。现有的机器学习、数据挖掘、深度学习等算法大多处理标准化的任务或场景,因此对数据输入和输出有相应的培训标准和要求。例如,监督学习需要提供计算维度和目标标签。然而,在大量的实际场景中,可能会面临非标准化或个性化的价值挖掘需求,如提取不确定性(没有先验经验模式)的知识和可变规则。

高度智能的计算。在知识挖掘过程中,人类仍然需要参与模型配置、培训、评价等过程。计算机本身承担的只是在预设条件下进行的大量迭代、更新和演绎。当党面临越来越多或越来越复杂的场景时,人类的经验总是不确定性、误判性或多变性,这将影响计算结果的可信度、准确性和稳定性。如何使计算机根据现有数据杨的特点,自我调整、配置、计算和评价是数据智能的核心。

扫码免费用

源码支持二开

申请免费使用

在线咨询