大数据时代下的我们有哪些商机?有哪些大数据产品可以参考?我没有数据怎么做?
Q:大数据时代有哪些商业模式?
数据租售
直接卖数据API,代表公司有twitter。
数据服务
卖数据产品、数据分析结果,代表公司有BAT。这个是目前最流行也是最容易变现的模式,而且同样的数据可以打包成不同服务和产品出售,转化率很高,下面有例子,但是前提是你要有数据。
数据技术
提供大数据技术支持,代表公司有cloudera。
Q:有哪些大数据产品?
腾讯
百度
阿里巴巴
其它
Q:我没有数据怎么办?
利用开放数据,现在很多数据(特别是政府的)都向外开放,你可以基于这些数据来做一些分析产品,或者和直接卖数据的公司合作。
可以挖掘的行业和数据
- 互联网数据
- 电信行业数据
- 航空数据
- 医疗数据
- 房地产
- 零售业和服务业
- 媒体和娱乐
- 人口统计
- 商业和金融
- 体育和游戏
- 天气
- 卫生和健康
- 政府
- 地理信息数据
开放数据资源
AWS公共数据集:http://aws.amazon.com/cn/publicdatasets/
MLcomp:http://mlcomp.org/
个人收集的数据集合(各个类型比较杂):https://delicious.com/pskomoroch/dataset
quora的回答比较丰富:http://www.quora.com/Data/Where-can-I-find-large-datasets-open-to-the-public
气候监测数据集:http://cdiac.ornl.gov/ftp/ndp026b 几个实用的测试数据集下载的网站: http://www.cs.toronto.edu/~roweis/data.html http://www.cs.toronto.edu/~roweis/data.html http://kdd.ics.uci.edu/summary.task.type.html http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/data/ http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-11/www/wwkb/ http://www.phys.uni.torun.pl/~duch/software.html
在下面的网址可以找到reuters数据集http://www.research.att.com/~lewis/reuters21578.html
以下网址上有各种数据集: http://kdd.ics.uci.edu/summary.data.type.html
进行文本分类,还有一个数据集是可以用的,即rainbow的数据集 http://www-2.cs.cmu.edu/afs/cs/project/theo-11/www/naive-bayes.html
找了很多测试数据集,写论文的同志们肯定需要的,至少能用来检验算法的效果 可能有一些不能访问,但是总有能访问的吧:
UCI收集的机器学习数据集: ftp://pami.sjtu.edu.cn/ http://www.ics.uci.edu/~mlearn//MLRepository.htm statlib http://liama.ia.ac.cn/SCILAB/scilabindexgb.htm http://lib.stat.cmu.edu/
样本数据库: http://kdd.ics.uci.edu/ http://www.ics.uci.edu/~mlearn/MLRepository.html
关于基金的数据挖掘的网站: http://www.gotofund.com/index.asp http://lans.ece.utexas.edu/~strehl/
reuters数据集: http://www.research.att.com/~lewis/reuters21578.html
各种数据集: http://kdd.ics.uci.edu/summary.data.type.html http://www.mlnet.org/cgi-bin/mlnetois.pl/?File=datasets.html http://lib.stat.cmu.edu/datasets/ http://dctc.sjtu.edu.cn/adaptive/datasets/ http://fimi.cs.helsinki.fi/data/ http://www.almaden.ibm.com/software/quest/Resources/index.shtml http://miles.cnuce.cnr.it/~palmeri/datam/DCI/
进行文本分类&WEB http://www-2.cs.cmu.edu/afs/cs/project/theo-11/www/naive-bayes.html http://www.w3.org/TR/WD-logfile-960221.html http://www.w3.org/Daemon/User/Config/Logging.html#AccessLog http://www.w3.org/1998/11/05/WC-workshop/Papers/bala2.html http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-11/www/wwkb/ http://www.web-caching.com/traces-logs.html http://www-2.cs.cmu.edu/webkb http://www.cs.auc.dk/research/DP/tdb/TimeCenter/TimeCenterPublications/TR-75.pdf http://www.cs.cornell.edu/projects/kddcup/index.html
时间序列数据的网址: http://www.stat.wisc.edu/~reinsel/bjr-data/
apriori算法的测试数据: http://www.almaden.ibm.com/cs/quest/syndata.html
数据生成器的链接: http://www.cse.cuhk.edu.hk/~kdd/data_collection.html http://www.almaden.ibm.com/cs/quest/syndata.html