近年来,数据在经济社会发展中扮演着举足轻重的角色,是国家基础性战略资源,是21世纪的“钻石矿”。党中央、国务院高度重视大数据在经济社会发展中的作用,党的十八届五中全会提出“实施国家大数据战略”,国务院印发《促进大数据发展行动纲要》,全面推进大数据发展,加快建设数据强国[1]。数据正在快速堆积与存储,人们越来越认识到数据对于国家、政府、企业及个人的重要作用。因此,如何从海量的数据中提取出有价值的信息,就成了各国学者研究的焦点问题。数据挖掘技术就是在这样的背景下应运而生。数据挖掘技术是指在海量的、未知的、模糊的、不确定的数据中,寻找到可以给经济社会带来价值的、有用的信息的技术。换言之,数据挖掘技术就是从原始积累的大量数据中发现其隐藏的信息和规律。现阶段数据挖掘技术已经在交通运输、金融保险、批发零售、医疗卫生、工业工程等行业中发挥着关键性作用。我国现代物流起步较晚,欠发达地区的物流企业仍然沿用传统的物流运营模式,不利于我国建设南北物流大通道。为了打造区域经济大走廊,发展“一带一路”丝绸之路经济带的建设,越来越多的人将目光转向了数据挖掘技术在物流工程领域的应用。现代物流企业在物流、资金流、信息流之间具有相互作用、相互制约的特点,而数据挖掘技术能够更加精准的、高效的从海量的物流数据中搜寻到准确、有价值的信息,提高物流企业的运作效率,降低企业由于物流信息闭塞导致的损失;除此之外,还能够使企业运营者可以快速决策,更加科学地制定出物流决策方案,提高企业收益[2]。
1数据挖掘
1.1数据挖掘理论概述
在信息大爆炸的时代中,人们经常面临着持有海量数据而缺少有用信息的困扰。由于数据资料的复杂性,传统的检索分析方法已经难以满足现代人从庞大的数据中提取有价值信息的强烈需求,人们急切地希望能够得到一种更加准确的数据分析与处理方法,从这些海量的数据中抽取出有价值的信息,从而更好地满足人类经济社会发展的需求。数据挖掘技术就是在这样的背景下应运而生的。数据挖掘(DataMining)是指从大量数据中,分析并且检索出隐藏有价值信息的技术,是一门多学科交叉研究的边缘性综合类的学科。其中,涉及机器语言学习、算法设计、模块化识别、数据库、神经网络和数据处理分析等多门学科。数据挖掘是一种新的处理数据分析方法,对分析海量的数据集和统计传统数据都具有重要的现实意义[3]。与传统的数据分析方法相比,是在传统的数据分析方法基础上,加入当前复杂的算法,获取有用信息的过程。
1.2数据挖掘的主要技术
数据挖掘技术可以分为统计类数据挖掘和知识类数据挖掘。统计类数据挖掘技术的应用领域广泛且研究较为成熟,其主要包含聚集与度量技术、各种回归技术、聚类挖掘技术和最近邻技术等[4]。知识类挖掘技术则是靠知识驱动的一种把数据库中挖掘业务模式的知识发现技术,与统计类相比,其不需要借助分析人员的介入驱动,在短时间内找到有用知识,因此,在现在的数据处理中较为常见,主要包括关联分析、遗传算法、神经网络、粗糙集和决策树。①关联分析:关联分析又称为关联规则,主要是从给定的数据集中发现隐藏在其中的必然规律,其规律也许是群体法则的,也有可能是自然法则。关联规则特别适用于从相互关系中挖掘知识,如市场营销、事务分析等应用领域。②遗传算法:就是模拟人工优良育种的思路,从某一个初始种群开始,进行一系列不间断的随机选择、交叉和变异过程,产生新一代的种群,将群体进化到搜索区域中越来越好的领域,最后收敛于最为适应的群体。③神经网络:从结构上是模仿生物的神经网络,是通过一定的训练去学习非线性的一种预测模型,其基本单元构成是模仿人脑神经元,称之为节点;并且通过链接进行连接节点,类似于人体大脑中个神经元之间的连接。神经网路的优点是在预测的过程中实现精准预测,而缺点就是难以理解,容易受到过度训练的影响。④粗糙集:是一个处理模棱两可问题的新型数学分析工具,在处理数据的过程中可以不利用相关问题的先验知识,可以自动地寻找出内在的联系。近年来,粗糙集已经发展成为人工智能领域中决策分析与模糊识别的一个重要方向,也成为数据挖掘技术中最重要的方法之一。⑤决策树:主要是应用于分类与预测之中,展示出了一种在假设条件下会得到相应数值的方法。通常一个决策树表示一系列问题,每个分支表示不同条件下解决问题所能得到的值。决策树方法也可以理解为利用图形解析的方法展示出训练集中的数据收到不同变量而变化的预测的模型。数据挖掘中的决策树是一种经常采用的技术,常用的算法有CART、CHAID、ID3和C5.0等。
2现代物流业存在的问题
2.1市场预测精准性不高
市场预测精准性的不高,在一定程度上制约着物流行业的发展。我国发展初期,受当时计划经济的影响,许多企业采用传统经营模式的组织方式。通过企业内部的、专门的采购运输部门根据国家需求计划进行原材料采购和成品销售。随着我国经济体制改革,市场在资源配置中起决定性作用,市场需求预测逐渐成为现代企业组织生产的一个重要的参考依据,尤其是港航、铁路、航空运输等行业,市场需求预测在一定程度上决定各行业未来的运营投入,决定着企业未来的发展方向。因此,市场的精准预测在一定程度上影响着现代物流业的发展。而现代物流中的精准预测只有在少数的经济发达地区和一些拥有先进管理经验的企业中得到发展。在欠发达区域,物流行业还是保持着传统运营方式,物流一体化、社会化、市场化的程度相对较低,在一定程度影响和限制了高效的企业运营。所以说,市场预测精准性在一定程度上制约着我国现代物流业的快速发展。
2.2物流企业管理运营水平较低
尽管近年来我国物流业发展势头迅猛,但与西方发达国家相比仍然有明显差距,主要体现在物流管理运营水平上,尤其是仓储管理水平与客户分析等方面。由于我国百分之六十左右的物流企业还停留在传统的运输和仓储方面,对物流企业的管理运营水平投入较少,这就导致了我国物流企业规模较小,数量较少,缺少核心竞争力的物流业发展现象。溯其根源主要有两方面原因:一是我国物流企业集中于车辆运输方面的投入,仓储管理投入相对较少,尤其是在仓库库位设计,流程优化,拣货效率,仓容利用率等方面。这造成了仓库管理缺少企业特色和专业竞争力;二是我国物流企业对潜在客户分析深度不够,不善于挖掘深层次客户需求、开发增值服务、满足客户个性化需求。
2.3全国物流综合体系建立不够完善
传统的物流运营模式常常专注于某一区域或者某一领域的物流活动,尤其体现在物流中心选址时缺乏系统思维,这导致物流行业的发展水平不一致。对于现代物流业而言,物流企业依托物流中心规划进行企业设计布局,存在一定的局限性,主要体现在路径规划方面,由于相对应物流中心特定选址,会出现货物运输距离增长,运输时间加长等问题。因此,这在一定程度上制约着我国综合物流体系建设。
3数据挖掘在物流行业中应用
数据挖掘在物流管理中有三大优势:①物流管理中挖掘信息更加贴合顾客需求;②数据挖掘使物流管理更加准确、科学、高效;③物流决策更加依托数据挖掘技术的支持[5]。计算机网络信息技术的快速发展,为现代物流的实时交互提供了可能。越来越多的学者将研究的重点由原来单一化逐渐向多元化转变,这逐渐形成了多学科之间相互渗透的发展趋势,这也就为现在的数据挖掘技术在物流领域的应用打下了良好的基础。随着交叉学科的进一步发展,目前数据挖掘技术在物流领域则主要应用于市场的预测,物流中心选择,路径优化,优化仓储管理,客户价值分析和物流需求等方面。主要可以归纳为以下三个方面。
3.1物流决策问题
现代物流活动中,由于涉及到三种源流的相互影响,在各个环节中都会产生大量的物流数据,增加了物流企业的决策难度,使企业决策存在更多的随机性、复杂性以及不确定性,尤其体现在路径优化、物流中心选址等方面。由于物流中心选址是综合物流体系构建过程中最为重要的部分,直接决定着总成本(运输成本、固定成本和变动成本)最小化的问题。因此,在选址时需要考虑中心点分布情况和数量,特别是构建区域物流综合体系时,多中心选址问题更为复杂,需要涉及到路径优化、交通运输条件、地理条件、顾客分布和中心点分布情况等一系列问题。这些问题中路径优化又直接影响到运输成本的高低,这无疑就增加了物流决策的难度。而数据挖掘可以利用分类树法和遗传算法求解多目标的优化方法进行解决。这在一定程度上为决策者提供了参考依据。
3.2需求预测问题
国内学者对需求预测的研究始于二十世纪初,物流预测主要集中在市场供应与需求情况、经济、运输等方面。其主要原因是市场竞争加剧,从而迫使物流企业深度挖掘可用数据资源拓展业务、开发客户、提高利润、增强核心竞争力。根据产品特性制定合理的库存方法和运输策略,建立相应预测模型并进行精准预测,可达到提前预测市场的目的。在我国大型港航运输类企业中,需求预测就显得更为重要,港口企业可以根据近年数据建立适当的回归预测模型,例如,王锡淮等针对上海港集装箱吞吐量预测年度数据预测利用基于径向基函数的神经网络预测模型,使预测精度有了进一步提升[6]。乐美龙等提出了一个新的非线性系统预测方法是基于遗传规划方法的集装箱吞吐量预测模型,并将该模型运用于宁波港集装箱吞吐量的预测中,利用宁波港的集装箱历史数据训练和检测样本、预测宁波港未来九年的集装箱发展趋势[7]。根据预测结果进行港口发展战略部署,为我国成为航运强国奠定坚实基础。
3.3运营管理方面
数据挖掘在现代物流业的应用的一个重要方面集中于运营管理方面,特别是客户分析和仓储管理等方面。现代物流企业需要完善新的运营管理模式以提高企业新的利润增长点。而客户价值分析就通过交叉销售、客户忠诚满意度、客户价值细分以及客户流失等方面分析,制定个性化方案去满足客户特定需求。一般可以利用决策树对客户关系进行细分,发现其中潜在规律,更好地针对不同客户群体进行定制化服务,从而建立并维持客户关系,增加企业的利润。同时,根据挖掘大客户数据,了解个性需求,然后根据大客户的需求优化仓库管理模式,实施固定货位预留,减少第三方租赁仓库租金,优先中转货物等举措,增强客户粘稠度,培养固定客户群体,拓展新的业务模式。还可以利用数据挖掘技术中的关联分析法优化仓库储存,运用合理安排普通客户的商品储存、摆放位置、提高货物分拣效率,压缩商品存货成本等措施吸引普通客户群体。因此,将大客户与普通客户进行价值分析,完善运营管理模式可以进一步的提高物流企业利润增长点,提升核心竞争力,促进现代物流业的发展。
4结论
数据挖掘技术已经在商业、金融、通信、施工等领域广泛应用,并取得了较为满意的结果。随着我国现代物流业的发展,数据挖掘技术将会应用在物流运营的各个环节之中。大数据的时代已经到来,传统的数据处理模式已经不能满足现代物流业的发展,这就需要物流企业根据自身情况,从基本的数据挖掘应用方面着手,不断地开展新的领域的应用,促进现代物流业的发展。
《数据挖掘对物流工程的应用》来源:《物流工程与管理》,作者:郑诗禹 李莉