DMman(数据挖掘青年)--数据挖掘新手常见疑问解答(2)

说明：这些问题以及他们的解答来自数据挖掘者的博客http://blogger.org.cn/blog/blog.asp?name=idmer，由DMman整理，日期截止到2007-6-20。挑选了其中比较有实际应用意义的若干。涉及到数据挖掘的前景、学习数据挖掘需要学什么、如何学习；数据挖掘的算法、应用等技术问题....希望大家能有所得。
 
身不由己(游客)发表留言于2007-2-1 10:51:55
我想开始学数据挖掘
1.请问下,什么挖掘工具适合我这样的初学者,最好是很容易操作,还要是中文的,我英文有点差...希望您能推荐下.
2.能不能发给我这个您推荐给我的数据挖掘的工具.因为我下的数据挖掘工具都不能用.
谢谢您了 我用数据挖掘来做毕业设计的,以前没学过,指导老师也不懂,凡事都靠自己找,我只能4处求教了,希望您能帮我下,3Q
以下为blog主人的回复：
首先，我建议你别着急选工具，先看看数据挖掘的综述资料，选择一个合适的课题，再往下深入了解和研究。
对于毕业设计来说，也许你去找些公开的数据挖掘源程序，并使用这些源码进行改进或者应用到你要研究的课题上，可能比选择商用的数据挖掘软件更合适一些。因为这样你会了解算法的内幕，而不是简单地应用。
如果你需要下载一些数据挖掘软件，我建议你到Kdnuggets网站或数据挖掘研究院网站上找找看。这些网址在我的Blog上有链接。
关于数据挖掘软件的推荐，商用的我推荐SAS Enterprise Miner、SPSS Clementine、KXEN；研究方面的我推荐Weka。
我现在在做一些文本校对相关的一些事情，但是手头缺乏一些语料库的资料（主要是语料库本身以及相关调用代码），所以我想向您咨询一下您手头没有关于语料库的资料或者是相关网址等，麻烦您了，谢谢
以下为blog主人的回复：
可以到北京大学计算语言研究所的网站上看看：
http://icl.pku.edu.cn/icl_res/
有人民日报切分/标注语料库下载
uveil(游客)发表留言于2006-5-16 10:08:04
有个问题想请教一下，你既然是研究数据挖掘的，肯定对其有关会议比较了解，想问ICMLC这个国际会议怎么样？它可是被EI检索的。
以下为blog主人的回复：
请参考：Computer Science Conference Rankings(http://www.w3china.org/blog/more.asp?name=idmer&id=6910)
以及：http://www.kdnuggets.com/meetings/
debby(游客)发表留言于2006-4-26 11:49:42
我的毕业设计题目：文本挖掘。首先要在现成的语料库中提取特征，想用词频统计的算法，但是以前没有接触过这方面的内容，不知道怎么下手，希望能给与帮助。谢谢！
以下为blog主人的回复：
请参考北京大学自然语言学研究所主页（http://www.icl.pku.edu.cn/default_cn.asp）。
微软亚洲研究院-自然语言计算组（http://research.microsoft.com/asia/group/nlc/）
计算语言学和自然语言信息处理研究和应用综述（http://ling.cass.cn/yingyong/courses/nlpbase.htm）
dmdou(游客)发表留言于2006-4-14 23:20:46
请教一下，我最近开始学习数据挖掘技术，您能介绍一下这方面的前景吗？庸俗一点就是找工作是否很有需求？嘿嘿 多谢
以下为blog主人的回复：
现在和以后对数据挖掘人才的需求还是有一些的，不过由于数据挖掘是对数据的深层分析，所以一般除了要求深入了解数据挖掘技术之外，还要求对数据库（数据仓库）、行业业务、分析等方面的能力和经验。因此建议你熟悉数据库技术，同时有机会的话多参与一些实际项目，这样可以扩大你的择业范围。
jeff(游客)发表留言于2006-4-4 10:18:15
您好,我是的毕业设计题目定了,基于分区的算法的孤立点分析,但是感觉到没有头绪,另外也没有找到合适的数据源.现在我应该应该看那些书呢?从哪个地方下手呢?
以下为blog主人的回复：
关于孤立点分析，我了解得很少。唯一做过的相关工作就是将其应用到数据质量检查中，根据历史趋势发现新的数据中是否存在异常。除此之外，孤立点分析应该在网络流量异常检测中应用得比较多。至于需要看哪些书，象《数据挖掘：概念与技术》等书中只有简单介绍，深入的内容建议你尝试一下Google的学术搜索http://scholar.google.com/schhp?hl=zh-CN和www.researchindex.org等等。
欢迎对这方面熟悉的同行给出宝贵意见，谢谢。
hello(游客)发表留言于2006-3-21 11:15:00
我的方向是遗传算法进行关联规则挖掘，但是看的不多，还有50天就NDBC2006就截稿了，您能否给我一些建议，比如看什么书，如何准备，
谢谢
以下为blog主人的回复：
遗传算法我了解得很少，所以无法告诉你去看些什么书，只能给些投稿方面的建议。NDBC（全国数据库年会）接收的稿件主要分为两大类：研究报告类和技术报告类，前者侧重于科学研究（新的模型、新的思路、算法改进等），后者侧重于技术实现（结合具体的应用，一般需要有系统原型、应用效果等）。一般来说，前者比后者的学术价值更高些，稿件的质量也要求较高，所以需要比较长时间的研究和积累才可能做出来。
因此，如果你希望在没有前期准备的情况下，用50多天来完成论文，可行的方法是向技术报告类的方向靠拢。我建议你首先找到有价值的应用问题（比如商业或企业等方面对关联分析的应用），然后应用遗传算法和其它关联分析方法（比如Apriori算法）来进行分析，对不同算法的性能效果进行评估比较，总结各种算法的特点及适用范围。当然，如果能对算法做些有益的改进更好，可以让论文的学术性更强。最后，描述出应用了关联分析的结果能带来什么效益（比如对货架位置的调整、对客户的交叉销售等到）。
以上是论文的大致思路，但需注意的是，一定要有创新。如果仅仅是对算法的简单应用，则被录用的可能性很小。因为你的文章中的内容，在其他人的文章中都可以找到，那么你的文章就失去了存在的意义，也就不会被评委所接受
cathy(游客)发表留言于2006-3-2 17:12:42
你好,我是一名在校硕士生,方向是数据挖掘,我就要开始写论文拉,我想请问大侠数据挖掘能否应用在股票市场上?肯请给我些建议!谢拉
以下为blog主人的回复：
我没有研究过相关内容，你可以在Google中检索“数据挖掘股票”，或者在Google学术搜索（http://scholar.google.com/schhp?hl=zh-CN） 中检索亦可。应该有些方向可以研究，不过我对用预测算法来预测股价并不看好，因为一方面无法获得庄家的内幕消息（而他们对股价变动常常有很大的影响），另一方面一些重要信息难以量化，比如政策面的因素。
青椒(游客)发表留言于2005-10-31 15:18:51
数据挖掘在国外的应用现状？
老大，能不能提供一些数据挖掘在国外的行业应用的资料，先谢谢了！　（zhouyimm@163.com）
Sunstone：如果你希望了解数据挖掘在行业应用上的成功案例，可以查看SAS、SPSS等公司网站上的Success stories，例如http://www.sas.com/success/index.html。
如果想了解具体的实施过程，一般可以参考一些相应的图书，例如《构建面向CRM的数据挖掘应用》、《Organizational Data Mining - Leveraging Enterprise Data Resources for Optimal Performance》、《Data Mining Techniques For Marketing, Sales, and Customer Relationship Management》等，这些图书可以提供比较好的导引。
更详细更具体的技术文档一般难以获得，因为大都是各个公司的保密文档。
一位数据挖掘成功人士 给 数据挖掘在读研究生 的建议
来自 http://blogger.org.cn/blog/more.asp?name=idmer&id=15785#53359
 
关于数据挖掘领域的研究
数据挖掘者 发表于 2006-6-23 12:26:02
这个是我回复北京某大学一位研究生的eMail，讨论数据挖掘领域研究选题的一些个人观点，欢迎大家批评指正。
原信：（2006-6-7）
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
师兄：
你好
我所学专业为数据挖掘，很想在这方面有所作为，但是一段时间发现效果不佳，我觉得我对整个领域不是很了解，师兄能否谈谈如何经过怎样的努力，才可能在两年后，三年后有高水平的论文和研究成果出来呢？能否谈谈您当前学习的方法和数据挖掘领域就业的想法呢？
My honor to have your reading, really.
ohmyfuture
北京邮电大学计算机学院
回复：（2006-6-12）
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
ohmyfuture，
最近一直很忙，抱歉回信晚了。
关于数据挖掘方面的研究，我原来也走过一些弯路。其实从数据挖掘的起源可以发现，它并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成，同时与专家系统、知识管理等研究方向不同的是，数据挖掘更侧重于应用的层面。
因此来说，数据挖掘融合了相当多的内容，试图全面了解所有的细节会花费很长的时间。因此我建议你的第一步是用大概三个月的时间了解数据挖掘的几个常用技术：分类、聚类、预测、关联分析、孤立点分析等等。这种了解是比较粗的，目标是明白这些技术是用来干什么的，典型的算法大致是怎样的，以及在什么情况下应该选用什么样的技术和算法。
经过初步了解之后，就要进入选题的阶段，选择自己感兴趣的某个具体方向，然后通读该方向的经典论文（综述、主要发展方向、应用成果）。选题阶段可能会花费较长的时间，比如一年。此时，要逐渐明确突破点，也就是将来你论文的创新点。创新对于研究来说非常重要，一方面该创新的确比原来的方法要好，另一方面该创新的确具有实用的价值。
随后，就要来实现自己的想法。通常对于硕士论文来说，需要建立原型系统，进行试验，并用试验结果来支持自己的论文主题。原型系统就是对自己创新点的实现，需要很好地设计和开发。需要注意的是，原型系统的建立和开发商用系统不同，需要体现比较好的理论基础。也就是说，原型系统并不是简单地用于实现功能，而是将你的一整套理论付诸实现。这种理论基础也将会包含在你的论文中，以体现论文的理论高度。
原型系统的搭建以及产生令人信服试验结果，这个过程一般需要至少一年的时间。所以要集中精力于核心部分（体现论文创新点的部分），外围的界面等等不应投入太多的精力，以免进度失控。
最后是论文的整理和写作了。建议你在之前的阶段中逐步先写出一些篇幅较短的论文（用于发在期刊、会议上），比如综述、体系框架、算法内核、应用等等。这样在最后写毕业论文时就有了足够多的内容，会写得更好更快一些。
以上只是泛泛而谈。其实我觉得其中的关键点在于选题，而选题的好坏取决于你对数据挖掘研究现状的了解、你的兴趣和专长、以及该方向在应用上的意义。建议你和导师、同行多交流，能够让自己的方向更清晰。
至于数据挖掘领域的就业，应该来说还是前景不错的。如果你对研究有兴趣，象微软研究院、Google、高校研究所都是不错的地方；如果你对实际应用有兴趣，很多大的公司包括IBM、Accenture、亚信等等都有相应的人力需求，当然一些甲方的单位比如证券、保险、金融等等单位也都需要分析人才。
Best Regards,
Sunstone Zhang