成为一个优秀的SAS分析员必备的五种能力

shiyiming

以下观点仅仅是我的观点，也欢迎各位高人指正，补充：


第一：开发的能力。也就是数据处理的能力。在SAS工具里面，主要的体现是你对BASE模块的操控能力。这里我想纠正两个误区：一是以为做
分析的只要会各种统计分析过程就可以了，数据处理交给别人做。实际上，数据处理在整个分析流程中占用的时间要超过一半，真正到建模阶段
，只要你具备相应的统计学背景，就应该没有问题，所以，数据处理的质量高低将直接决定你模型的效果。别人做和自己亲自做对数据的理解
是完全不一样的。二是以为BASE SAS非常容易，不就是if/else；do循环等语句吗？实际上，我要告诉大家的，SAS真正的精华
是BASE，尤其是MACRO!在医学领域，由于大部分程序涉及到的实验数据非常少，所以数据本身的业务逻辑相对比较简单，因此对
BASE的应用相应也就简单。但是在商业；金融等领域，由于分析员对面的将是整个大型数据库或数据仓库，再加上商业需求的业务逻辑
十分复杂，所以对数据处理的要求相对较高。目前我所见到的国内受雇于SAS中国区公司的最N的几个人写的ETL的作业调度程序
全部是用BASE实现的。那么如何提高数据处理的能力？我觉得最直接有效的方法就是看别人是怎么写的。大家可以看看SAS中文论坛网站，
这个论坛里面有很多非常精彩的code。其中有几个N人像Ahuige；Steven等都是目前国内非常顶N的人物，还有中国工商银行的
若干大侠，你看看他们在回答网友提出的问题的解决方法的时候将会彻底颠覆你对BASE的看法。只是这些世外高人你很少看到他们出来活动，
一般都是蛰伏在洞里，遇到有挑战性的问题的时候你才会看到他们从洞里面爬出来，以显示自己的存在并解决你的问题。


第二：方法论设计的能力。对前期的数据处理完成后，需要根据需求设计项目方法论。这里绝对不能认为方法论就是统计方法。从大的方面
应该包括两种情况：第一种是自创的方法论，这是方法论在设计中最难的。自创的方法论需要根据项目本身的需求来设计。比如，如何评价
营销活动的好坏？我们team当时就设计了一个非常有用的方法论，并不断完善推广到公司标准，这里根本就不需要所谓的高深的统计
建模知识，需要的是你对业务深刻的理解，而且设计的方法论一定要得到你的客户--Marketing部门人员的认同。第二种才是统计建模
的能力。在医学领域，由于更多的要涉及到实验设计。临床医学等知识，所以SAS当中的PROC模块像方差分析；glm模块，生存分析
，genmod模块等应用比较多。在商业，金融等领域，由于更多的是涉及marketing，所以SAS当中的PROC模块像回归分析；
logistic分析；bayes分析；聚类分析等等用的比较多。还有所谓的一些机器学习想神经网络；决策树等也比较常用。


第三：分析的能力。前面两种能力可以统计工作经验的积累一般都可以达到，只要你智力正常。但是分析的能力更多的是一种天赋了。
所谓分析就是你必须把business和technical之间做一个无缝的mapping，能让你做出来的东西marketing人员也能
理解，这就需要把technical语言最终转化为business语言，这是非常难的，这其实是在两个不同系统之间来回转换，打个比喻，
你在后台用所有的原料和技术炒了一盘你认为是非常好吃的菜，结果端到餐桌上，顾客认为不好吃。那谁说了算？当然是顾客。我们做
分析的就好比后台的那个厨师，marketing部门就好比前台的顾客，最终对你价值的评价是他们，而不是你自己。所以很多做分析的
以为用了很多技术手段就一切ok了，这显然是错误的。


第四：表达的能力。上面说了，分析完你的结论后，最终要形成一定的物理文件给marketing部门看，所以即便你有了很多非常有趣
的结果，如何展现给他们？这就需要组织你的表达框架，一般这个框架在ppt里面完成。主要包括：1.需求是什么？2.需求要达到什么目标？
3.分析出了什么有价值的东西？4.这些结论对marketing有用吗？有指导意义吗？5.你的建议是什么？所有这些你都需要用非常
business的语言来表述，像什么“变量”；“模型”之类的词肯定是不能出现在报告当中的，取而代之的可以是像“市场影响因素”；
“对市场的预期”等词语。


第五：商业理解的能力。这是做分析人士的最高境界。几乎很少有人能够企及。事实上，前面所有的工作都是marketing人员
给分析人员安排的，也就是说，作为一个分析人员，基本上都是被动的接受marketing的需求。但是，如果通过你的工作，marketing
人员已经对你产生了绝对的信任，他们就会让你参与到他们的项目前期设计当中来，他们每天有很多的ideal，但是他们并不知道
哪些ideal是可行的，这时候，你就完全从你所掌握的知识来告诉他们哪些ideal是可行的。所以你必须具备business thinking
的能力，知道市场，了解市场发生的状况。

匆忙利用中午休息的时间写了一些，欢迎拍砖！

本文来自: 人大经济论坛(<!-- m --><a class="postlink" href="http://www.pinggu.org">http://www.pinggu.org</a><!-- m -->) 详细出处参考：http://www.pinggu.org/bbs/b68i465854p1.html

shiyiming

说的大多不错。不过我不会纯粹地褒扬你，否则既容忍某些貌似正确的观念，又有负于旁观者的良心。
我觉得你基本上是在讨论如何做个好的SAS Programmer。其实再好的SAS Programmer也让那些写C的嗤之以鼻。所以如果讨论SAS最好是强调它统计分析功能如何强大，而不是班门弄斧，讲些繁琐的无聊的编程。
我还要指出有许多的生物及医疗研究基于很大规模的数据。比如说基因分析，许多的过程和分析需要在CLUSTER上运行数天。另外许多医疗上PROSPECTIVE研究涉及巨大的历史性数据。想一想十年来有多少的癌症病例以及跟踪样本，应该和某些信用卡客户数目有一比吧。
SAS 的精华是BASE，是MACROs，好像也没有什么错误。尤其是对那些重复性输出报表或者是呈交上级看起来不错的分析报告的人。但是我觉得那是些小智慧小聪明。如果你有心再放眼看一看IML程序，语法很简单但是你或许根本不理解，因为你对矩阵的运算很生疏。如果你不信服，读一读简单的IML求解CORRELATION。不知道你要在BASE上编多长的程序来得到同样的结果。仔细想一想，SAS变得越来越好用越来越强大，源于算法上的突破，使得已存在了数十年的统计理论有可行性。而这些算法大多都是矩阵的求解。
SAS编得好大多都有些计算机背景而分析做得有理有据的需要数学知识。所以既使达到你的最高境界业未必做得出好的分析，只是一些技巧来取悦于领导糊弄客户而已。想想次贷款是如何打包的，其实那也是从模型里出来。也是从那些最高境界的分析家那里产生的。

shiyiming

兄弟，首先非常感谢你的进一步剖析，不过你可能从根本上误会了我的主题：
第一：我说的主题是作为一个分析员如何分析的流程，也许是班门弄斧，但是你也可以提出你的关于如何做好分析员的看法。
第二：我并没有把SAS和C语言比较，实际上也不需要比较，你用了“嗤之以鼻”，我不知道什么意思？任何一门语言都有它的特点，按照你的逻辑，哪门语言会对C语言“嗤之以鼻”呢？
第三：你说的大数据运行时间，请注意，我没有说医学领域数据少，而是说“大部分程序涉及到的实验数据”，如临床医学，也许这里确实有点班门弄斧，因为我没有涉足这个领域。请多包涵。
第四：说实话，我对你说的BASE和MACRO说成是“小智慧小聪明”并不赞成。按照你的意思，SAS的IML就是“大智慧大聪明”？那比IML更智慧的是什么呢？
第五：你说的“取悦于领导糊弄客户”，我更不知道是什么意思，这可能是个道德问题，如果这是个道德问题，那么它应该与技术无关，既然与技术无关，那也就不仅仅是SAS分析员这一个领域的问题，请问你做的领域是什么？你的领域是不是没有道德问题？没有发生“取悦于领导糊弄客户”？
第六：我想，你我可能都犯了一个错误，那就是自以为自己的领域都非常能够创造价值，对于我们，如果得不到客户的认可，那么我们的价值也就结束，不知道对于你，你的价值是由谁认可的？
最后，我还想说，你可能还需要再看一遍我的观点，也请不要带有情感偏激的进行评价，这样才真的不会“有负于旁观者的良心”。

shiyiming

SAS的IML语言很多应用是把算法包裸露给你看，像correlation在SAS的PROC步里面对应的子程序就是PROC CORR,那个标准化对应的就是PROC STANDIZE.另外，比IML更人性化的算法工具有很多。楼主更多的可能是想解释SAS分析的流程，二楼的在我看来可能不是干这行的。都不要攻击了嘛。免得让那些真正的N人看笑话。依小的看，看两位好像也不是什么高手。那还卖弄什么？赶快给老板打工挣钱是正道！

shiyiming

真正的N人原来在这里。想必也是属于那些平日总在洞人蛰伏的高手吧。不过不同的是有的出来帮助人，有的出来咬人。我想真正的高手不应该是乐于看笑话的人。如果只是如此，也只是自诩的高人，上不了台面。所以你无需担忧我们让高手（们）看了笑话。还有，真正的高手大都为老板打工，因为当了老板，你就不再是高手了。

你的一系列的对IML的解释说明了什么问题？是IML根本用不着还是根本就不用它？何为更人性化的东西？

我反对一楼是因为他把在银行做的分析员的标准一般化推行到其它的领域。让我这个做生物分析的感到被边缘化。我反对你嘛，就是你那种打棍子的行径。

翻一翻统计的历史，是应用统计，其实主要是生物统计，在推动统计学的发展。许多人以为，如果搞统计的有诺贝尔的可能的话，FISHER应该是不可争论的人选。其实FISHER的许多实验设计是关于生物的。美国统计局的创建和壮大也先行于生物实验。如果你留心，SAS的许多例子，选择于经典的实际案例，生物方面居多。如果不算DATA MINING， 银行其实没有真正的统计分析。许多人认为DATA MINING 是种DATA DRIVEN 方法。所以经常可以看到类似结论产生：从数据来看，属鸡的人爱存钱。

再一次强调：我感觉你们是在谈论SAS PROGRAMMER，而不是ANALYST。SAS只是工具，几年以前SPSS比SAS强。如果你愿意做个调查的话，有更多的银行里的分析员出身于计算机，更多的生物分析出身于统计数学。所以结论还是：一群BANK PROGRAMMER们。

shiyiming

好一个用“一群”来总结你的结论，不过我想请教你这个高手两个统计问题：
1.既然你是统计出身，那么能否告诉我贝叶斯理论和最小二乘法之间有什么关联？
2.既然你是投身生物统计领域，那么对一个十分重要的过程步proc genmod你应该熟悉，我想请教一下其中的variance语句和deviance语句有什么区别？可不要背着我偷偷看sas help啊，呵呵。
这两个问题，一个是统计学的基本问题，一个是应用领域的重要知识点，如果你愿意回答，那么我们的争论到此结束，如果你拒绝回答或者回帖说不值得回答，那么我只好一笑了之，我们的争论也到此结束，怎么样，兄弟？

shiyiming

不好意思，忘了和你说，第一个问题，你就别非心机去找资料了，据我所知，目前只有两个人知道这个答案，一个是我，一个是能够回答这个问题的人，那个人还是我。

shiyiming

实在不好意思偷偷摸摸地找资料也不好意思不懂装懂，所以只好坦白自己回答不上你的任何一个问题。其中令我最难为情的是我听过BAYESIAN的课，几乎天天在用GENMOD，因为我接触的资料都是LONGITUDINAL。

真是对不起。既对不起我自己，我对不起你的愿望。

你的两个问题可能都很好但不敢苟同的是都很基本，尤其是你居然还拥有对第一个问题的知识产权，就更令人望而生畏了。其实，虽然BAYESIAN的理论古老但是它的应用还是新来的，考虑到它运算的复杂性。祝贺你在新领域里的开拓性工作和认识。如果你有机会我拿上我的课堂笔记和你请教。 我私下对BAYESIAN的兴趣是除了它的CONFIDENCE INTERVAL的更为常人所接受的诠释之外，别的很泛泛。

另外，即使是生物统计在引领着应用统计的发展，也不代表我这个做生物统计的水平高。其实高不高也很主观。打个比方，如果你的检验零假设是自己的水平比他人高。那么想要反对这个假设的难度要比反对零假设为自己的水平不必别人高的难度大的多，即使置信水平提高到0.5。

我的人生经验是反对你的人往往使你受益，附和你的人会使你受损。

shiyiming

那么到此结束吧。人大经济论坛会引领这些问题的答案。另外，看了你这么多回帖，我只欣赏你最后一句话“反对你的人往往使你受益，附和你的人会使你受损”。

shiyiming

老实说，建模型让人不感兴趣的原因并不仅在于所谓理论的高深或数学运算的复杂。如果一样理论是有效用的，总有人前赴后继去研究的。
建模的前提其实是假定现实世界的事物有一定的规律，而多半的情况下，建模的人都认为自己的假设是正确无误，权威，不可置疑，貌似楼上一位理论家的口气。好象上帝天生就决定这些因素就要按舵手的假定和规律来运行。叫你是线性就是线性，叫你有相关，你就有相关。也许大多情况下，只是一个数字游戏。

翻开各种医学类，农业类，社会科学杂志，一篇一篇的各种，回归，析因，因子，相关，聚类，LOGIST回归的论文一堆一堆。不知道哪些真正有用。公说公有理，婆说婆有理。

稍微靠点谱的东西比如像质量管理的分析，因为至少可以重复结论，最优的组合有较大可能得到高质量的产品。

而社科类，不管是哲学还是经济类。你发了一个东西，也没人会说你错，反正用的理论都如此高深。又无法验证。

在我看来，世界上的这种论文，减少百分之九十五的数量可能世界反而会变得更美好，更少的钱被浪费。大家精力放到更有用的东西上去。

相对于某些理论家来说，我更欣赏能给我们解释出统计学中的一些基本概念的人。