挨踢部落坐诊第五期:数据采集与前端运用

),有任何技术问题,在群里提问,或发给群主小官。


:我有个疑问,大多盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程,那么大数据的来源是什么?

:数据的1、自有用户的数据库;2、采集网络(爬虫);3、买数据接口或者购买数据;4、聚合数据API市场。四种常见的大数据的数据来源。

:买数据接口或者购买数据,这个可能又要涉及到另一个问题,数据安全性。好像存在一个因果关系:要实现大数据的核心价值,第一步是通过“众包”的形式收集海量数据,第二步是通过大数据的技术途径进行“全量数据挖掘”,最后利用分析结果进行“资源优化配置”;但收集海量数据就得先解决数据安全性问题,才能进行“全量数据挖掘”,才有后续的发展。不知道理解得对不对?

:讲的好,每一步的语言都是精炼,提到点上。目前大数据还处于开始阶段,很多问题都还没有解决,安全性是任何行业的通病。

:输入法的数据收集么?像输入法,很多人的打字数据能不能算上大数据?

:大数据要经过处理分析才算的上是大数据,否则仅仅是大容量的二进制数据。例如这个,都是在输入基础之上经过提炼分析的结果。

挨踢部落坐诊第五期:数据采集与前端运用

:大数据是Java的进阶么?

:算是Java一个方向吧。

:如果采用的是 Hadoop平台,那边无疑是Java语言又一场景的使用。

:在做大数据么?云计算是做哪些?有什么关系?

:云计算和大数据,应该是不分家的,因为大数据的分析离不开云计算的基础平台。

:云计算和大数据是分不开,没有云计算,大数据永远只是数据,对我们没有任何价值。

:话说有人知道单元测试怎么写么?这样是不是证明装好了?

挨踢部落坐诊第五期:数据采集与前端运用

:请教下各位,我现在有个需求,在一个电脑上对上百个网站首页进行轮询打开,如果打不开就弹出提示,或者发邮件。有现成的软件实现这个功能么?

:URL的监控HTTP状态检测(200 ok)。

:我是问HTML5在大数据里不是代替了Java?

:这两个在大数据上扯不上。H5是负责展示、动效,数据方面的处理还是看后台的。数据是五花肉,处理语言是材料,HTML5就是红烧肉出锅时候的葱花吧。HTML5和浏览器就像Java和JVM,分工不同罢了。随着HTML5的规范完善,本地存储、WebSocket、内存管理都已经做的很不错了。

:HTML5可以做报表,有用的,各种数据展示、报表,处理前,处理中,处理后。

:HTML不就是个表示语言吗,用来编网页游戏的也挺厉害的。但没有浏览器时它无法交互吧,基于浏览器就各种调试。Java程序只要有对应操作系统的JVM就能干活,内存回收机制也完善些吧。

:有用过Vue那个Mint UI的吗?mt-loadmore的加载更多嵌入到iframe在苹果的浏览器上面上拉有问题,有遇见过的没?

:很多IM 的提供商都提供了客服方案的,可以集成到自己的系统中来。

:问一下大佬,我如果要研究Linux,想通过乌班图入手,我是要看linux的书还是Ubuntu的书?半路出家搞IT要从哪里入手呢?linux和Unix不一样吧?

:看这个《UNIX环境高级编程》。

:差不多,Linux门槛低,适合PC机折腾。

:有没有人对Spring Data JPA有熟悉的吗?是一个趋势,最近在做。复杂查询还行,updata碰到坎上了,感觉SpringBoot慢慢要赶超SpringMvc。而SpringDataJpa技术是标配之一。希望大家可以看看,有问题一起交流。

:SpringData做持久层的,个人感觉不好用啊,没有Hibernate好用。因为用了很久的Hibernate,所以不习惯其他的了。

:有谁在用Linux系统?个人用了一个Ubuntu17.0,主要是算法和设计模式 。

:个人用,乌班图不错,企业级,红帽,等都挺好。

:公司用centos比较好,和红帽一样。


挨踢部落坐诊第五期:数据采集与前端运用