SAS中文论坛

标题: Data Mining在企业上的应用 [打印本页]

作者: shiyiming 时间: 2004-5-26 09:48
标题: Data Mining在企业上的应用
Data Mining 对每个公司来说都是一种重要的策略性的的计画，而将之列为高度机密，所以要调查各家公司到底用 Data Mining 来做什么样的事其实相当不容易。根据 Two Crows Corp. 最近的调查显示，Data Mining 主要的三个应用方式 - 如我们所预期的 - 都在市场推广方面，分别是：Customer Profiling、Targeted Marketing、以及 Market-Basket Analysis。

在 Customer Profiling 方面，我们希望找出客户的一些共同的特征，希望能藉此预测哪些人可能成为我们的客户，以帮助行销人员找到正确的行销对象。Data Mining 可以从现有客户资料中找出他们的特征，再利用这些特征到潜在客户数据库里去筛选出可能成为我们客户的名单，作为行销人员推销的对象。行销人员就可以只针对这些名单寄发广告资料，以降低成本，也提高行销的成功率。

Market-Basket Analysis 主要是用来帮助零售业者了解客户的消费行为，譬如哪些产品客户会一起购买，或是客户在买了某一样产品之后，在多久之内会买另一样产品等等。利用 Data Mining，零售业者可以更有效的决定进货量或库存量，或是在店里要如何摆设货品，同时也可以用来评估店里的促销活动的成效。

客户关系的管理是 Data Mining 的另一个常见的应用方式。我们可以由一些原本是我们的客户，后来却转而成为我们竞争对手的客户群中，分析他们的特征，再根据这些特征到现有客户资料中找出有可能转向的客户，然后公司必须设计一些方法将他们留住，因为毕竟找一个新客户的成本要比留住一个原有客户的成本要高出许多。

近来电话公司、信用卡公司、保险公司、股票交易商、以及政府单位对于诈欺行为的侦测（Fraud Detection）都很有兴趣，这些行业每年因为诈欺行为而造成的损失都非常可观。Data Mining 可以找出可能的诈欺交易，减少损失。财务金融业可以利用 Data Mining 来分析市场动向，并预测个别公司的营运以及股价走向。Data Mining 的另一个独特的用法是在医疗业，用来预测手术、用药、诊断、或是流程控制的效率。

<b>Case Study</b>
现在已经有相当数量的公司安装了资料挖采软件，以找出那些会造成利润差异的信息。

1.完美的购物经验-英国 Safeway
此个案研究探讨英国的Safeway如何运用Data Mining来从大量的资料中萃取商业信息。英国 Safeway 使用 Intelligent Miner 从资料中萃取商业知识，这是一个 Data Mining 可以成为企业的一部份的最佳范例。英国 Safeway 定义了明确并实际的目标，使用相当干净的资料源，进行 Data Mining，并且投注许多人力用以解读 Data Mining 的结果，并且采取实际的行动以善用 Data Mining 所发掘出来的信息。
英国 Safeway 的年销售量超过一百亿美金，旗下的员工接近七万名，是英国第三大的连锁超级市场，提供的服务种类则达三十四种。该公司的信息部有两台 System/390 服务器，以平行的方式执行 DB2，其中最大者每周要管理八百万笔交易，以及约 4TB 的磁盘储存容量。
根据英国 Safeway 的信息总监迈克温曲指出，该公司在两年前就体会到必须要采用不同的方式来取得竞争上的优势。「在英国市场运用传统的技术，如更低的价位、更多的店面、以及更多种类的产品，竞争已经越来越困难了，」温曲先生说：「大部份的竞争对手在价格以及产品范围方面都能与我们匹敌。由于土地以及扩充的成本，没有一家公司有足够的资源可以在扩充方面超越对手。」
温曲先生的说法是，这个问题的答案是：「必须以客户为导向，而非以产品与店家为导向。这意味着我们必须更了解客户个人。为了达成这个目标，我们必须了解六百万客户所做的每一笔交易，以及这些交易彼此之间的关连性。」换句话说，英国 Safeway 想要知道哪些种类的客户买了哪些种类的产品以及购买的频率，以建立「个人导向的市场」。
(1)一把网住
将资源集中在特定的问题上，并设定可达成的目标之后，英国 Safeway 在商业智能过程（也就是 Data Warehousing/Data Mining 过程）中的下一步，就是选择适当的资料来源，将客户的交易资料集中在 Data Warehouse 中。为了达到这个目的，该公司开始发信用卡给客户，客户用这种信用卡结帐可以享受各种优惠，这种信用卡就成为该公司在500家店面搜集六百万客户资料的「网」。这些客户的消费行为资料不断地被从主数据库中萃取出来，每周存在 Data Warehouse 中（大约有500GB），使用的平台则为执行 Intelligent Miner 的 RS/6000 SP2。
IBM声称该公司在 1996 推出的 Intelligent Miner 能提供 Data Mining 作业所需的完整环境，提供资料准备的设施，以及八种 Data Mining 技术，包括预测模型、资料分割、以及产品吸引力分析，当然还有图形化的结果显示。
通常资料在存入 Data Warehouse 之前，都必须经过各种仔细的转换（Data Cleansing），例如将标称值转换为数值、定义衍生的属性、以及去除空值（Null Values）等等，这都要视应用而定。在英国 Safeway 的个案里，资料源为单一的交易处理系统，该公司对这些数据质量有足够的信心，而且该公司的目标仅在于大略的估计其客户是哪些人，所以 Data Cleansing 并不是主要的问题。
在资料被存入 Data Warehouse 之后，Intelligent Miner 会根据客户的相关资料，将客户分为150类。然后再用 Association 的技术来比较这些资料集合（这些资料包括交易资料以及产品资料），然后将列出产品吸引力的清单（例如「在购买烤肉炭的客户中，75%也会购买打火机燃料」）。温曲先生指出，这些功能是连续发生的：「并没有一位统计师在那里跑来跑去的说：「你知道这件事吗？」这个过程事实上是我们业务的一部份。」
(2)找出模式
温曲先生的说法是，由于 Data Mining 的贡献，「我们找出了超过人类概念范围的关连性。」例如 Intelligent Miner 发现某一种乳酪产品虽然销售额排名第209，可是消费额最高的客户中有25%都常常买这种乳酪，这些客户可是英国 Safeway 最不想得罪的客户。如果使用传统的分析方法的话，这种产品很快就会不卖了，可是事实上这种产品是相当重要的。
英国 Safeway 也发现在28种品牌的橘子汁中，有8种特别受到欢迎。因此该公司得以重新安排货架的摆设，使得橘子汁的销量能够增加到最大。「我可以举出数百种与客户购买行为有关的例子，」温曲先生指出：「这些信息实在是无价之宝。」
还有，英国 Safeway 在了解客户每次采购时会购买哪些产品以后，就可以利用Data Mining 中的 Sequence Discovery 的功能，以侦测出长期的经常购买行为。再将这些资料与主数据库的人口统计资料结合在一起，Safeway的行销部门就可以根据每个家庭的「弱点」，也就是在哪些季节会购买哪些产品的趋势，发出邮件。「根据这些信息，」温曲先生指出：「我们在去年发出了一千两百万封完全根据个别状况设计的邮件，这在我们销售量的成长方面扮演了很重要的角色。」
有些 Data Mining 的结果会比较容易应用到实际上，有的则不然。针对这个事实，英国 Safeway 使用另外一种工具来筛选结果，也就是将 Data Mining 的结果再做 Data Mining，以找出有显著兴趣的资料。这种工具虽然目前使用的人不多，可是等到 Data Mining 越来越普遍后，接受度应该会更高。
英国 Safeway 采取的 Data Mining 方式可能是很典型的。该公司把焦点集中在这种技术的商业利益上，保持资料的品质，设定实际的目标，而利用其结果时采取的步骤虽然小，但是实用。换句话说，实际的「Data Mining」只是较大规模的商业智能过程中的一小部份而已。

2. MCI 通讯公司
与其它电话公司一样，MCI 想要保有最多的顾客。方法之一就是及时找出可能考虑换到竞争公司的顾客。如果做得到这一点，该公司就可以设法留下客户，例如提供特别的费率和服务。
如何从数百万的顾客之中，找到你要维持的对象昵？MCI 的办法是彻底搜寻 1 亿 4 千万笔市场家庭资料，而评估每一笔资料的属性，则高达一万个。这些特性包括收入、生活力式、过去通话习惯的详绌资料等。但是哪些特性的组合才是最需要观察的？且数据的范围要订在多少昵？帐单月费快速减少，可能代表顾客完全背公司而去了，但是我们可以从顾客的国际电话中找到更精微的模式吗？或从顾客打电话绐客户服务专线的次数找到模式？
为找出这个模式，MCI 定期激活该公司的 IBM SP/2 超级计算机－该公司的资料仓储（data warehouse），以找出最显著的变项，并密切注意这个变项。到目前为止，在多次重复整理历史资料后，这台 SP/2 已经汇编出一套含 22 个详细而高度机密的统计性资料文件。MCI 的信息主管 Lance B. Boxer 指出，没有资料挖采程序的话，不可能开发出任何统计资料文件。

3. US West 公司
和其它电话公司一样，它也希望能找出有家用第二和第三条电话线的强烈需求的家庭。这些需求是为了家中的青少年、传真设备和个人计算机。但是除非电话公司可以完全确定新增线路会产生实质的利益，否则他们是不会把钱投资在一些特别区域的网络总机和电话干线的。甚且，US West 说，他们打算精确的找出特定顾客，这些顾客不仅接受公司提供的初级服务，而且会持续使用第二条电话线路，时间久到让公司获有利润。
为了找到这些人，US West 使用一个叫做 PALMS 的程序。与该公司共同设计这套程序的有 AT&T 的 NCR 计算机部门，及拥有美国航空公司的 AMR 公司旗下的 Sabre Decision Technologies 部门。PALMS 的执行平白是威力强大的 NCR 平行处理计算机。首先，PALMS 过滤美国凤凰城地区域数千笔顾客记录的样本资料，这动作花了数小时。每笔家庭记录内含的项目高达 250 个：收入阶层、每月的电话费、去年维修记录，及该家庭尝试使用并保有如电话等候等服务的历史纪录。最后，得到一个理想的潜在客户统计模型。
然后，PALMS 利用这个模型来搜寻数百万笔的顾客纪录－资料量几达一兆位。此程序在找出与其它资料的关系后，如每家的住址、US West 的电话干线位置、各地总机的容量，即可辨识出一群潜在的顾客－这些家庭符合该幕式，且 US West 不必花费太多，就能够为这些家庭提供服务。
US West 从 1996 年 11 月 4 日到 1997 年 1 月初，进行首波 DM 活动。这次活动的回复率很高，与花费数百万美元的广播活动不相上下。PALMS 甚至能够计算出 DM 活动什么时候会达到高峰，让电话公司在回复率降低前，先行减少 DM 邮件。

4.UltraGem 公司
在旧金山创立的 UltraGem 公司，一直和一家不具名的银行，共同预估可调利率抵押贷款的获利率。UltraGem 的软件先分析十万笔以上的贷款记录。资料的范围包括：顾客的年龄和邮政编码、贷款的来源、以及以及此次贷款是否从前一次的贷款转换而来。结果：产生了一组规则，这组规则可辨识出可能是最高获利率的贷款申请。这些结合各种变项而产生的规则，「是人类智能无法计算出来的，」UltraGem 董事长 Steven A.Vere 如此说到。现在，该银行能够预测诸如谁能提早还款、谁可能拖延付款等因素，而藉此调整不同的利率与手续费。

5. Wal-Mart Stores 公司
由于该公司最先采用大量的交易资料厍，而改革了零售业。从 1980 年代起， Wal-Mart 每晚从各分店收集了大量的收款机资料。但是，除了使用来自 NCR 公司强大的计算机，Wal-Mart 一直无法使用所有的资料。面对 7 亿笔令人心生畏惧的潜在预测要计算－每一次计算 2,700 家分店个别的项目－迫使他们把店面按区域划分，产品类别而分。
去年，Wal-Mart 已经把系统转换为由 NeoVista Solutions 公司所提供的资料挖采系统。系统运用数百台处理器执行这项工作，协助 Wal-Mart 预测特定分店中，对某一单项产品的需求。而且它也改善了 Wal-Mart 「

作者: shiyiming 时间: 2004-5-28 11:22
I am applying data mining in marketing field in Beijing,if anyone is interesting in it,can contact me via email: <a href="mailto:emarketer@sina.com">mailto:emarketer@sina.com</a> or QQ:313922160

作者: shiyiming 时间: 2004-5-30 14:13
[quote="zhougs":450ce]I am applying data mining in marketing field in Beijing,if anyone is interesting in it,can contact me via email: <a href="mailto:emarketer@sina.com">mailto:emarketer@sina.com</a> or QQ:313922160[/quote:450ce]

hoho, 我有兴趣, 而且经验丰富啊. <img src="{SMILIES_PATH}/icon_rolleyes.gif" alt=":roll:" title="Rolling Eyes" />

作者: shiyiming 时间: 2004-6-8 22:21
标题: :D
[quote="zhougs":b0f18]I am applying data mining in marketing field in Beijing,if anyone is interesting in it,can contact me via email: <a href="mailto:emarketer@sina.com">mailto:emarketer@sina.com</a> or QQ:313922160[/quote:b0f18]

Nice to meet you, a hello message has been sent to your emailbox. <img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" />

欢迎光临 SAS中文论坛 (http://mysas.net/forum/)