定时更新同步于丁香数据、腾讯数据、天行数据API;
数据集处理:对网络对接的数据集采用及时入库的方法,在程序中加以定时的处理方式对丁香数据和天行数据API返回结果加以核对、入库以及实时更新,并对历史数据集进行保持久化;
数据处理技术:本作品采用多种数据源,多种数据处理技术,如json,xml,序列化对象等;
数据处理方法:对于部分可视化中的页面,进行ajax异步交互,能够做到不刷新页面的情况下进行更新数据;
二、数据处理工具
1)阿里巴巴fastjson处理工具解析json数据;
2)dom4j文档操作;
3)java原生的序列化工具将对象在网络上进行传输;
4)httpclient发送http网络请求及使用jsoup处理html数据;
5)mybatis对象与数据库表的映射orm;
6)echarts可视化方法;
7)模板引擎themeleaf。
前台:echarts、js、amazeui、bootstrap、html;
后台:mybatis;
框架:spring、springmvc、springboot;
开发语言:java
数据库:mysql;
数据源:Druid连接池;
———