Research and Implementation of the Active Interactive Web Information Mining Technology based on Virtual Machine

Intelligent web information mining is an effective method of agricultural information resources integration. Web crawler based data mining technology is a popular way of resource integrate in recent years. But, as the web technique developing and the information resources sites update frequently, the limitations of web crawlers relied mining methods are becoming more obvious. By sufficient investigation and research, in this paper, a method of virtual machine based active interactive network information mining technology was proposed, and solved these problems. This system has been used in the National Modern Agriculture City for Science and Technologies system in agriculture market information network services, and achieves an effective result. Keywords— virtual machine, interactive, web information, active mining 基于虚拟机的交互式网络信息主动挖掘技术研究与实现 王元胜 1,2,3 吴华瑞 1,2,3* 顾静秋 1,2,3 黄锋 1,2,3 罗磊 1 1) 北京农业信息技术研究中心,北京 100097,中国 2) 国家农业信息化工程技术研究中心,北京 100097,中国 3) 农业部农业信息技术重点实验室,北京 100097,中国 摘 要 网络信息智能挖掘是农业信息资源整合中的有效手段,基于网络爬虫的挖掘技术是近年来流行的整合方式之一,但随着 信息源站点频繁更新及 Web 技术的不断发展,单纯依赖爬虫的挖掘技术的局限性日益突出,本文通过充分的调研分析,提出了基于 虚拟机的交互式网络信息主动挖掘技术,有效地解决了上述问题,并且在国家现代农业科技城农业市场信息网联服务中得到初步应 用,取得了较好的应用效果。 关键词 虚拟机,交互式,网络信息,主动挖掘 1. 引言 农业信息量大、面广而分散,农业人员难以快速、准 确、有效地获取农业信息,成为制约农业信息资源深入整 合应用的难点问题,运用网络信息挖掘技术,从各个农业 站点析取数据,汇聚到中央存储数据库服务系统,实现自 动、协同的资源整合建库与共享,可在一定程度解决上述 问题[1]。近年来,以网络爬虫为核心的网络信息智能挖掘 基金项目:国家科技支撑计划“农村农业信息资源整合关键技术 集成与应用(2011BAD21B02)”和“国家农村信息专业服务平台开 发与应用(2013BAD15B04)” 项目 技术是农业信息资源整合中的一种常用手段,可以在分析 DOM tree结构的基础上,挖掘数据项的起始和结束标记区 间信息,建立信息源站点与目标数据库之间的映射关系, 通过网络爬虫逐项析取各项数据到中央数据库存储系统 中,实现网络信息资源自动汇聚[2-3],但随着信息源站点 频繁更新,Web2.0、Web3.0、富客户端等技术发展,单纯 依赖爬虫的挖掘技术的局限性日益突出,维持持续稳定自 动化汇聚的维护量增加,迫切需要新型灵活的挖掘技术以 适应这一形势的需要[3-10]。本文在充分调研分析农业网站 建设现状的基础上,提出了在虚拟机环境下交互式挖掘网 International Conference on Future Computer and Communication Engineering (ICFCCE 2014) © 2014. The authors Published by Atlantis Press 203 络信息的技术方法,即,基于数据项在网站中分布位置的 唯一性标识,定义数据项与目标数据库字段间的对应关系, 在虚拟机中建立数据动态汇聚的 Web服务,自动将各站点 的数据整合到中央数据库管理系统中,有效地实现了上述 目标。 2. 系统分析与设计 通过网络信息挖掘技术进行数据资源整合的数据主要 来源于各省农业网站,这些网站采用的 Web框架主要为基 于 html标签语言和在 html语言中嵌入富客户端控件(Flash 和 Slivelight) 两种,从数量上看前者比例占大多数,但后者 的比例在逐步上升,爬虫技术对于前者仍然适用,对后者 来说则不适用,但随着来源站点的更新换代,带来 html标 签的噪声及无规律性信息在增加,因而爬虫挖掘方式的适 应性在显著降低。因此本文结合资源整合研究任务,分析 了近年来各农业网站站点 Web语言规律,重新定义了来源 网站与目标数据库的数据映射关系为目标,找到一种通过 数据项位置的唯一性标识来建立映射关系的数据挖掘方 法,然后将这种网络信息主动挖掘技术按“基于标签(tag)的 数据项唯一性标识”和“基于图形识别(OCR)的数据项唯一 性标识”两种类型,设计不同的方法,实现数据按专题定向 汇聚入库、协同共享的资源“共建共享”目标。(图 1)。