level 11
最近工作需要，必须经常对130万条数据进行大量分析，匹配，筛选，透视，回归等初级分析，家里艹到3.2G的5639已经不堪重负。
昨天对2组40万的数据进行匹配时，发现12个核心占用率都是100%，一个简单匹配用了3分钟。而且打开一个40万数据的EXCEL也要用1分钟，顿时累觉不爱。
因此请大神出招，需要多路服务器来应对这些大量应用。还有简单的数学分析，EXCEl是否够用？
2014年05月30日 01点05分
level 11
cjb_2001_3
楼主
2
level 14
加固态
这绝逼不仅仅是为了凑够十五字，这是这是水笔的信仰
2014年05月30日 01点05分
4
这绝逼不仅仅是为了凑够十五字，这是这是水笔的信仰
固态确定对数据处理速度有帮助？ 还是在打开，保存时快点而已？
2014年05月30日 02点05分
回复 cjb_2001_3 :加载快N倍，大数据量也快
2014年05月30日 04点05分
回复 nxjribs :大数据处理时 确实需要硬盘频繁读写么？
2014年06月12日 05点06分
回复 cjb_2001_3 :是的
2014年06月12日 05点06分
level 11
level 11
cjb_2001_3
楼主
EXCEL支持 双路5650 24核运算么？
2014年05月30日 02点05分
6
excel就算了，把excel转化为自己的数据结构再分析吧，百万条不该那么慢的
2014年05月30日 02点05分
level 9
不用只盯着硬件
数据处理算法才是重中之重 效率突破口在算法上
2014年05月30日 02点05分
7
数据处理算法才是重中之重 效率突破口在算法上
赞！ 非常认同，数据结构+算法=效率，但本人不专业，算法研究不深，如果非要提升硬件，还请大神支招。
2014年05月30日 02点05分
回复 cjb_2001_3 :数据架构×算法＝效率![[勉强]](/static/emoticons/u52c9u5f3a.png)
2014年05月30日 03点05分
level 14
首先，加固态硬盘明显对楼主的需求没任何帮助。
我只懂数据库的， 不知道楼主说的数据处理是哪个行业的？
130万条记录对我们来说都是小数据量。 每天新增记录数都不止这些。
EXCEL匹配数据，肯定比SQL处理起来慢了很多很多了。这个是先天缺陷。
楼主导入数据库中去处理，应该会好很多的。
楼主所在行业不清楚所以以上只是猜测。
2014年05月30日 02点05分
8
我只懂数据库的， 不知道楼主说的数据处理是哪个行业的？
130万条记录对我们来说都是小数据量。 每天新增记录数都不止这些。
EXCEL匹配数据，肯定比SQL处理起来慢了很多很多了。这个是先天缺陷。
楼主导入数据库中去处理，应该会好很多的。
楼主所在行业不清楚所以以上只是猜测。
我是汽车行业，每月新增潜客的数量在50万级，展厅流量大概70万批，看来要恶补下SQL了，刚接手这些数据处理，以前小规模数据只用EXCEL。敢问大神，用SQL处理百万级的数据，我的5639 8G内存是否够用呢？
2014年05月30日 02点05分
回复 cjb_2001_3 :我不是大神，就你这点数据，用数据库来维护，你的配置够了，只是暂时够了。
2014年05月30日 02点05分
你认为没帮助？要不要对比一下
2014年05月30日 02点05分
回复 sunchang_1982 :感谢！ 恶补下SQL，今天回去看看同样算法下SQL的效率如何。
2014年05月30日 03点05分
level 13
这个时候AMD的模块化设计就有用了
2014年05月30日 02点05分
9
大神意思是FX8350 走起？ 效率比L5639 能高多少呢？
2014年05月30日 02点05分
回复 cjb_2001_3 :和5638比那就不一定了 但是双路G34的话估计还可以
2014年05月30日 02点05分
![[滑稽]](/static/emoticons/u6ed1u7a3d.png)
level 1
一百多万条。。。这应该是算法问题。。
2014年05月30日 02点05分
12
除了SQL，还有处理百万数据的专业牛B软件么，分析方法都很简单，，匹配，筛选，透视，线性回归而已。
2014年05月30日 03点05分