大数据在农产品物流管理系统中的应用

一、引言

21世纪是数据大发展、信息大爆炸的时代，互联网（新闻、社交、搜索、电商）、移动互联网（微博、360卫士）、物联网（传感器，智慧地球）、监控（视频、图像、声音）、通信（通话、短信）、金融（银行、股市、保险）等都在疯狂产生着数据，各种数据正在迅速膨胀并变大。当信息爆炸已经积累到一定的程度，“大数据”概念应运而生，被称为“第三次浪潮的华彩乐章”。马云利用阿里巴巴平台后台的“大数据”成功预测2008年金融危机，中国工程院院士邬贺铨说道“随着智慧城市的建设，社会将步入“大数据”时代”，2012年3月29日奥巴马政府公布了”大数据研发计划”。腾讯、百度投资建立大数据数据处理中心，新浪推出企业微博产品，旨在通过对用户行为分析，提供精准的数据分析服务，提高经营和运营的效率，带来业务和服务的增长和发展。

当前，我国物流业年均保持20%的高速增长，伴随着互联网、物联网、云计算等技术的发展，我国物流业数据正以前所未有的速度在增长。数据已经渗透到每一个物流过程，数据将成为物流企业战略资产，市场的激烈竞争需要物流企业长期保存各类数据，以进行物流用户行为分析、物流市场发展、物流业务增长、物流企业决策等方面的研究。阿里巴巴成立菜鸟网，将建成一张能支撑日均300亿元网络零售额的智能物流骨干网络，基于“大数据”技术的充分应用，在网购下单时，提供“时效最快”、“成本最低”、“最安全”、“服务最好”等多个快递组合类型。还可根据以往的快递公司的表现、各个分段的报价、即时运力资源情况、该流向的即时件量等信息，甚至可以加上天气预测、交通预测等数据，进行相关的“大数据”分析，从而得到优化线路选项，以供客户选择。之后，系统会将订单数据发送到各个环节，由相应的物流公司完成。“大数据”的价值在于从海量的数据中发现新的知识，创造新的价值，通过对仓储、流通加工、货物包装、运输、配送等环节的海量数据挖掘、归纳、分类、提炼、整合，了解物流企业的经营现状和业务情况，为物流企业战略规划、用户行为分析、日常运营管理提供重要支持和指导，提升物流行业的整体服务水平。

二、大数据概述

2.1、大数据的定义 

大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。通常由图像、音频、视频、非结构化、社交关系等海量数据和复杂类型的数据构成，包括交易数据和交互数据集在内的所有数据集。 

2.2、大数据的4V特征 

（1）Volume （体量）：数据体量巨大，非结构化数据的超大规模和增长，从TB级别，跃升到PB级别。

（2）Variety（多样性）：数据类型繁多，有很多不同类型的数据，如：文本、图像、视频、机器数据、地理位置信息等。

（3）Value（价值密度）：价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 

（4）Velocity（速度）：处理速度快，1秒定律，立竿见影而非事后见效。实时分析而非批量式分析 。

2.3、大数据涉及的关键技术

表1：大数据涉及的关键技术

三、大数据在农产品物流管理系统中的应用

针对传统农产品物流管理系统数据分散存储、数据模型不统一、标准化程度低、无法支持非结构化和半结构化数据处理的要求、数据未能有效地进行商业利用等特点，基于大数据的农产品物流管理系统构建数据集中、数据模型标准化、数据统一存储和处理、多结构化数据处理的模式，对农产品搜索引擎和询价日志进行收集并管理，对海量农产品数据进行并行计算和分布式处理，实现海量农产品数据的实时加载、实时复杂查询和数据的实时入库，结合用户上网日志和互联网农产品网页内容，进行深度数据挖掘和分析，为企业把握用户行为偏好、改善用户体验、精准行销、产品竞争力分析提供数据支持。

3.1、农产品物流管理系统工作流程

农产品物流管理系统首先通过GPS、无线射频、条码扫描等方式从运输载体、人员、货物中实时采集数据输入到系统中，在处理之前，保存在系统数据库中，以保证数据的完整性、实时性和准确性。有些数据在处理之后还有利用价值，要将其保存下来，以供以后分析使用。同时，农产品物流数据在系统中，要准确、及时地传输到各个职能环节，保证数据的使用价值。之后，系统将输入的数据加工处理成系统所需要的物流信息，并进行数据挖掘、分析和利用，形成大数据价值链。最后就是通过网站、微博、微信等方式实现农产品物流信息发布，力求在输出形式上力求易读易懂，直观醒目。

3.2、农产品物流管理系统结构设计

农产品物流管理系统是农产品信息的主要组成部分，对农产品物流信息经过收集、储存、加工、处理和传输来实现对农产品物流活动的有效控制和管理，并通过对农产品数据的挖掘、分析，为物流企业提供战略规划、沟通协调、运营管理、行为分析和决策支持的交互系统。系统由基础管理、仓储管理、销售管理和结算管理四大子系统构成，主要功能如下：

（1）基础管理：对农产品货主进行身份验证、注册、注销等管理，及时将农产品物流相关信息通过网页、论坛、微博等方式进行发布。

（2）仓储管理：对仓库内的物资进行入库、出库、作业、流程、安全和库存进行管理，。根据销售管理系统提供的数据，对库存进行补货或订货劝告，适时适量调整订货的信息。

（3）销售管理：对订货信息的完整度、准确度进行检查，并对订单的相关制约条件进行审批。根据销售的农产品销售和客户询价情况，及时反馈给仓储管理系统，适当控制存库。

（4）结算管理：对农产品合同进行管理，对合同的订立、履行、解除、转让等情况进行管理。根据数据分析结果、客户行为分析和市场导向，合理设定费率和费用，并根据设定的费率和费用，计算相关农产品物流管理费用。

3.3、大数据在农产品物流销售统计分析系统中的应用

农产品物流销售管理系统中的统计分析子系统通过对用户信息提取、访问热点分析、产品竞争力对比分析，结合用户上网日志及互联网网页内容，仔细对客户进行细分，分析用户决策因素、购物偏好、价格承受范围，为准确把握用户购买心理，产品发展趋势，企业战略规划，系统运营管理提供决策支持。

3.4、农产品物流管理系统数据库架构设计

系统采取以Hadoop为代表的NOSQL数据库技术和基于SQL的分布式数据库技术，采用Hadoop和数据仓库混搭的方式，对结构化和非结构化的海量数据和复杂数据进行存储与处理。将结构化、不需要关联分析、查询较少的数据保存在NOSQL数据库或Hadoop平台中；将结构化、需要关联分析或经常查询的数据保存在关系型数据库中，短期高价值数据放在高性能平台，中长期的数据放在低成本平台中，以实现数据高效率低成本的存储和处理。

四、结束语

随着物流企业应用大数据的逐渐深入，未来物流企业将获取海量的企业内外部数据，而通过对这些数据的收集、存储、处理和分析，物流企业将更加了解行业发展趋势和自身经营现状，也更加了解客户，甚至可以做到为每一个客户量身定制个性化需求的产品和服务，从而颠覆整个物流商业模式。正如《大数据时代》所言，“人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一”。大数据赋予我们洞察未来的能力 ，物流企业必须学会利用“大数据”，分析数据背后隐藏的规律，查找新的利润源和增长点，提高企业运营和管理的效率，带来业务和服务的增长和发展，帮助寻找“蓝海”领域和新的商业模式，促进企业发展壮大和可持续成长。