大数据在农产品物流管理系统中的应用

21世纪是数据大发展、信息大爆炸的时代，互联网（新闻、社交、搜索、电商）、移动互联网（微博、360卫士）、物联网（传感器，智慧地球）、监控（视频、图像、声音）、通信（通话、短信）、金融（银行、股市、保险）等都在疯狂产生着数据，各种数据正在迅速膨胀并变大。当信息爆炸已经积累到一定的程度，“大数据”概念应运而生，被称为“第三次浪潮的华彩乐章”。马云利用阿里巴巴平台后台的“大数据”成功预测2008年金融危机，中国工程院院士邬贺铨说道“随着智慧城市的建设，社会将步入“大数据”时代”，2012年3月29日奥巴马政府公布了”大数据研发计划”。腾讯、百度投资建立大数据数据处理中心，新浪推出企业微博产品，旨在通过对用户行为分析，提供精准的数据分析服务，提高经营和运营的效率，带来业务和服务的增长和发展。

当前，我国物流业年均保持20%的高速增长，伴随着互联网、物联网、云计算等技术的发展，我国物流业数据正以前所未有的速度在增长。数据已经渗透到每一个物流过程，数据将成为物流企业战略资产，市场的激烈竞争需要物流企业长期保存各类数据，以进行物流用户行为分析、物流市场发展、物流业务增长、物流企业决策等方面的研究。阿里巴巴成立菜鸟网，将建成一张能支撑日均300亿元网络零售额的智能物流骨干网络，基于“大数据”技术的充分应用，在网购下单时，提供“时效最快”、“成本最低”、“最安全”、“服务最好”等多个快递组合类型。还可根据以往的快递公司的表现、各个分段的报价、即时运力资源情况、该流向的即时件量等信息，甚至可以加上天气预测、交通预测等数据，进行相关的“大数据”分析，从而得到优化线路选项，以供客户选择。之后，系统会将订单数据发送到各个环节，由相应的物流公司完成。“大数据”的价值在于从海量的数据中发现新的知识，创造新的价值，通过对仓储、流通加工、货物包装、运输、配送等环节的海量数据挖掘、归纳、分类、提炼、整合，了解物流企业的经营现状和业务情况，为物流企业战略规划、用户行为分析、日常运营管理提供重要支持和指导，提升物流行业的整体服务水平。

2、大数据概述

2.1、大数据的定义 

大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。通常由图像、音频、视频、非结构化、社交关系等海量数据和复杂类型的数据构成，包括交易数据和交互数据集在内的所有数据集。 

2.2、大数据的4V特征 

（1）Volume （体量）：数据体量巨大，非结构化数据的超大规模和增长，从TB级别，跃升到PB级别。

（2）Variety（多样性）：数据类型繁多，有很多不同类型的数据，如：文本、图像、视频、机器数据、地理位置信息等。

（3）Value（价值密度）：价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 

（4）Velocity（速度）：处理速度快，1秒定律，立竿见影而非事后见效。实时分析而非批量式分析 。

2.3、大数据涉及的关键技术

名称	需求	关键技术	技术描述
大数据采集处理	海量数据分布式处理	Hadoop生态系统	针对大量数据进行分布式处理的系统框架
	非结构化数据处理	文本处理技术；自然语言理解；多媒体处理技术…	文本内容分词与分析；图像、音视频分析
	实时数据处理	流媒体数据	流计算引擎
大数据分析	可视化交互界面	交互式可视化探索分析技术	通过交互式可视化界面辅助用户进行分析
	智能数据分析	大规模机器学习技术	计算机模拟人类学习行为，包括特征提取、图形生成等
存储、组织、管理	数据隐私保护	数据隐私防范保护措施与数据安全技术	保护隐私数据与信息个体的对应关系等安全技术
	高效存储和管理大规模数据	数据存储备份技术、数据放置和调度技术、数据溯源	存储、放置、调度大规模的数据

表1：大数据涉及的关键技术

3、大数据在农产品物流管理系统中的应用

针对传统农产品物流管理系统数据分散存储、数据模型不统一、标准化程度低、无法支持非结构化和半结构化数据处理的要求、数据未能有效地进行商业利用等特点，基于大数据的农产品物流管理系统构建数据集中、数据模型标准化、数据统一存储和处理、多结构化数据处理的模式，对农产品搜索引擎和询价日志进行收集并管理，对海量农产品数据进行并行计算和分布式处理，实现海量农产品数据的实时加载、实时复杂查询和数据的实时入库，结合用户上网日志和互联网农产品网页内容，进行深度数据挖掘和分析，为企业把握用户行为偏好、改善用户体验、精准行销、产品竞争力分析提供数据支持。

3.1、农产品物流管理系统工作流程

农产品物流管理系统首先通过GPS、无线射频、条码扫描等方式从运输载体、人员、货物中实时采集数据输入到系统中，在处理之前，保存在系统数据库中，以保证数据的完整性、实时性和准确性。有些数据在处理之后还有利用价值，要将其保存下来，以供以后分析使用。同时，农产品物流数据在系统中，要准确、及时地传输到各个职能环节，保证数据的使用价值。之后，系统将输入的数据加工处理成系统所需要的物流信息，并进行数据挖掘、分析和利用，形成大数据价值链。最后就是通过网站、微博、微信等方式实现农产品物流信息发布，力求在输出形式上力求易读易懂，直观醒目。

农产品物流管理系统是农产品信息的主要组成部分，对农产品物流信息经过收集、储存、加工、处理和传输来实现对农产品物流活动的有效控制和管理，并通过对农产品数据的挖掘、分析，为物流企业提供战略规划、沟通协调、运营管理、行为分析和决策支持的交互系统。系统由基础管理、仓储管理、销售管理和结算管理四大子系统构成，主要功能如下：

（1）基础管理：对农产品货主进行身份验证、注册、注销等管理，及时将农产品物流相关信息通过网页、论坛、微博等方式进行发布。

（2）仓储管理：对仓库内的物资进行入库、出库、作业、流程、安全和库存进行管理，。根据销售管理系统提供的数据，对库存进行补货或订货劝告，适时适量调整订货的信息。

（3）销售管理：对订货信息的完整度、准确度进行检查，并对订单的相关制约条件进行审批。根据销售的农产品销售和客户询价情况，及时反馈给仓储管理系统，适当控制存库。

（4）结算管理：对农产品合同进行管理，对合同的订立、履行、解除、转让等情况进行管理。根据数据分析结果、客户行为分析和市场导向，合理设定费率和费用，并根据设定的费率和费用，计算相关农产品物流管理费用。