[讨论] 移动解决方案

shiyiming

上面大家都发表了不少高见，
我个人感觉：移动现在迫切需要解决
下面三个问题：
A. 客户分类
B. 客户流失分析
C.套餐设计
因为和移动的盈利相关，所以更加关注。

客户流失问题其实不简单，最主要的原因有：
1。移动客户流失分析的目标（或者目的）；
2。流失客户的定义，不同的营销目的，移动定义的流失客户
     的概念也应该有所不同；
3。数据质量问题；
4。数据处理，因为涉及到许多的业务问题，不同的处理方法，
     很可能回影响到最终的结果；
现实中存在的问题：
1。移动的数据质量问题；
2。移动客户进行数据挖掘的目的？
3。集成商对于移动营销目标的认识程度；
4。处理过程的合理性解释；
5。数据挖掘整体运维操作；

首先：移动的数据质量相对较好，但是仍然存在许多虚假数据，例如年龄 等；
其次：移动进行数据挖掘的目的是为了解决实践问题，而不应该一味的追求
        挖掘的精确度、覆盖度等，虽然精确度越高，移动进行市场营销的费用
        就会越低，但是应该考虑到中国数据挖掘市场正处在一个初级阶段，还
       有许多东西需要实践，逐步积累经验，提高解决问题的成本。
      注明：在实践当中，是不是准确度越高，就越能解决实践问题，
                个人认为不见得，古人云：物极必反；
第三：移动客户提出了营销目标，但是集成商（数据挖掘商）能了解多少，
       理解的程度不够，肯定会影响最终的结果；
第四：这个要求其实很高，要求对上面几个进行知识的综合，一个数据挖掘商
      如果能够说明为什么这个步骤需要进行这样处理，为什么不能进行那样处理
     ，其实就把业务的理解贯通于整个项目中，理解的越深，就越能解释过程，
     但是目前应该很少有人能够做到。
第五：现在大家多关注数据挖掘的结果，很少关注这个问题，其实它应该很重要
       ，因为处理得当的话，不但可是随时从数据中发现问题，而且能够降低
      移动客户和数据挖掘商的成本。


以上粗见，请大家再多发表见解

shiyiming

数据挖掘技术在移动通信中的应用


慧聪通信商务网　2004-02-10 14:26:41
  

王燕莉　安世全
重庆邮电学院计算机学院
    1 引言

　　数据挖掘汇集了统计学、人工智能、数据库等学科的内容，是一门新兴的交叉学科。这门学科旨在帮助人们从海量数据中发现有价值的信息，目前在商业中的应用刚刚起步。国内日趋激烈的移动通信市场竞争促使各移动通信运营商去降低运营成本、提供差异化的客户服务，而数据挖掘技术的应用可以帮助运营商分析客户消费行为，识别客户特征，辅助运营商进行有效的市场营销和客户服务。

    2 数据挖掘技术概述

　　“数据挖掘包含了一系列旨在从数据集中发现有用而尚未发现的模式（Pattern）的技术。”[1]。确切地说，数据挖掘是一种知识发现的过程，它主要基于统计学、人工智能、机器学习等技术，高度自动化地分析数据，做出归纳性的推理，从中挖掘出潜在的模式，并对未来情况进行预测，以辅助决策者评估风险、做出正确的决策。数据挖掘与联机分析处理（On-Line Analytical Processing, OLAP）都是分析型工具。联机分析处理作为验证型分析工具，“更多地依赖用户输入的问题和假设”[2]， 使得用户能够快速地检索到所需要的数据，而数据挖掘能够自动地发现隐藏在数据中的模式（Pattern）。

　　在实际应用中，数据挖掘主要采用以下几种方法进行模式的发现：

　　（1）相关分析和回归分析：相关分析主要分析变量之间联系的密切程度；而回归分析主要基于观测数据建立变量之间适当的依赖关系。相关分析是回归分析的基础。

　　（2）时间序列分析：与相关分析类似，目的也是为了挖掘出数据之间的联系，但时间序列分析更加侧重于数据在时间先后上的因果关系。

　　（3）分类分析：分类分析首先为每一个观测赋予一个标记，然后检查这些被标记的观测，描述出这些观测的特征。这种描述可以是一个数学公式或者模型，利用它可以分类新的观测。常用的几种典型的分类模型有线性回归模型、决策树模型、基于规则模型和神经网络模型等。

　　聚类分析：与分类分析不同，聚类分析的输入是一组未标定的记录，目的是根据一定的规则，合理地划分记录集合。聚类分析和分类分析是一组互逆的过程，因此在很多分类分析中适用的算法也同样适用于聚类分析。

    3 数据挖掘在移动通信中的应用

　　目前移动通信运营商都具有业务营运系统、客户服务呼叫中心、业务受理网站等客户信息系统，这些系统具有如下特点：

　　（1）各个信息系统都各自比较完整地管理着客户某一部分的信息，众多的客户数据、市场营销数据、帐务数据以不同的数据格式和访问方式分散在不同的系统中，形成众多的信息孤岛，在各个信息孤岛中存在着冗余和不一致，不能满足数据挖掘过程中数据必须具有单一视图（Single View）的要求。

　　（2）这些系统都是联机事务处理（On-Line Transaction Processing, OLTP）系统，实时处理在线事务，不能适应数据挖掘应用大规模、频繁的检索和查询操作。因此，数据挖掘的前提是必须建立企业级的客户信息数据仓库，能够把不同联机事务处理系统的客户数据聚集在一起，提供一个正确、完整和单一的客户数据环境。

    3.1 数据仓库的建立

　　数据仓库作为数据挖掘的基础，不同于传统的联机事务处理系统，它具有面向主题的、集成的、不可更新以及随时间变化的特性。各个联机事务处理系统作为数据仓库的原始数据源，以文件方式提供客户基本资料、客户呼叫清单、客户帐单、客户联系历史记录等数据。数据仓库通过ETL过程（抽取、转换和加载）处理这些接口文件，并且按不同的主题域组织、存储和管理这些客户数据。通过数据仓库接口，对数据仓库中的客户数据进行联机分析和数据挖掘。整个数据仓库的体系结构见图1，主要由数据源、企业级数据仓库和决策支持三个部分组成。

    3.2 数据挖掘的主题定义

　　在建立完成企业级的客户信息数据仓库之后，可以基于这个数据仓库平台进行数据挖掘工作。但在数据挖掘工作开展之前，必须明确数据挖掘所需要解决的问题和所需要达到的预定目标。也只有在目标明确定义的前提下，数据挖掘的工作才有方向和意义。本文针对移动通信运营商市场运营的特点，定义了以下主题作为数据挖掘的目标。

    3.2.1 客户行为分析

　　利用分类分析法和聚类分析法对客户通话行为进行分析，从而得出客户在消费习惯、生活方式、社会联系等方面的特征。对客户行为分析的根本目的是为了按不同特征划分客户群，针对不同客户群的特征，运营商可以进行不同的市场营销活动和客户服务。在客户群划分中典型的应用就是针对某一客户群的消费特征进行某种移动业务的营销。

    3.2.2 优惠策略仿真预测

　　优惠是市场营销中十分重要的一部分，优惠策略的不恰当，常常会得到适得其反的市场效果。优惠策略仿真预测就是通过已建立的客户行为模型仿真客户对优惠策略的反应，从而预测优惠策略实施的效果。通过对优惠策略的仿真，可以预测优惠策略的成功与否，从而进行相应的调整和优化。

    3.2.3 客户忠诚度分析

　　客户忠诚度分析主要通过对客户消费金额和帐务支付的分析建立客户价值模型，从而获得客户价值和离网倾向。客户是运营商价值之所在，通过对客户忠诚度分析，有针对性的对高价值客户进行优质服务，对有离网倾向的客户及时进行挽留活动对提高运营商市场占有率，降低营销成本是十分有用的。

    3.2.4 反欺诈分析

　　目前，移动运营商面临的一个最严重的问题是欠费问题，其中很大一部分是欺诈消费，因此反欺诈消费已经成为移动通信发展的关键。通过对客户数据的多维分析、聚类分析和孤立点分析可以建立客户欺诈消费模型，从而可以有效的对客户消费行为进行监控，对满足欺诈消费模型的消费行为进行告警。

    3.2.5 竞争对手分析

　　成熟的市场必然是一个竞争比较充分的市场。不同运营商客户之间的互联互通是最基本的前提，因此通过对客户与竞争对手客户之间通话的行为分析，可以建立有关竞争对手经营和客户服务的模型，比如竞争对手客户发展模型，通过对这些模型的使用，可以制定有效的市场应对策略。

    3.3 数据挖掘的过程

　　在数据挖掘目标明确的前提下，可以基于已经建成的企业级客户信息数据仓库进行数据挖掘工作。本文将遵循以下步骤：问题定义、数据准备、数据探索、建立模型、模型检验、模型应用以及投资回报分析，其中问题定义已经在上文主题定义部分完成。

　　在问题定义之后，需要创建一个数据集市作为数据挖掘和分析的对象，一般抽取数据仓库中与问题相关的数据子集作为数据集市。在创建集市过程中可以使用随机抽样、等距抽样、分层抽样和分类抽样等抽样技术来减少数据集市的数据量；通过对数据的删选和对小概率事件的放大，使得数据集市中数据的特征和规律性更加显著。

　　在数据探索过程中，通过多维分析和可视化展现探索数据的特征，通过对数据进行增删操作或者根据现有变量重新组合生成一些新的变量来更加有效的描述数据特征；其中，对数据统计特性的分析在数据探索过程中起着十分重要的作用。建立数学模型是数据挖掘工作的核心环节，目前比较常用的建模方法有神经元网络模型、决策树模型和回归模型。数据挖掘中具体使用哪一种方法，取决于数据集市的特征和需要实现的目标，在实际应用中，往往是对多种建模方法的比较和综合。在建模过程中，把数据分层为训练数据和校验数据，训练数据主要使用于建模过程中求解模型参数，而校验数据主要用于模型检验。因此模型检验阶段的主要工作是把检验数据代入已经建立的模型中，观察模型的响应，通过比较模型的响应和真实的数据，从而评估模型的准确程度。如果模型的准确性比较差，就需要重新进行数据探索、建立新的模型、直至新模型检验。因此，在实际应用中，数据探索、建立模型、模型检验是反复迭代的过程，见图2。

　　数据挖掘的过程就是一个不断探索数据特征、建立和检验模型，发现客户消费行为特征的过程；移动运营商只有把模型的结果应用到市场营销和客户服务过程中，才能真正发挥数据挖掘的作用。

    4 结论

　　移动通信市场的激烈竞争导致了面向市场营销和客户服务的数据仓库的建设以及数据挖掘技术的应用，本文在介绍了数据挖掘技术的基础上，重点阐述了移动通信运营商数据挖掘平台的建立，以及基于这个平台展开数据挖掘的过程和数据挖掘的主题分析。应该说，运营商对各种技术应用的最终目的是实施以客户服务为中心的客户关系管理（Customers Relation Management, CRM），但在目前情况下，本文认为，移动运营商当务之急是在建立数据仓库的基础上成功实施多主题的数据挖掘。

shiyiming

一些粗浅的个人看法：

这篇文章如果出现在2000－2001年，还是有相当的参考价值的，但是对于目前国内各个厂家特别是用户的知识和实践积累已经很丰富的2004年，指导意义就淡了很多。
首先，本文的内容可以在几乎所有的公开非公开的相关方案中找到，任何入围的服务方不管是否真的会做，起码是可以给出不低于该水准的方案。对于熟知移动RFP的大侠，甚至可以从中发现自己的类似叙述。
其次，文中很多说法值得商榷：

被反复强调的“数据挖掘的前提是必须建立企业级的客户信息数据仓库”，似乎移动企业的数据仓库不建成（而且还得建成“企业级”的），移动是无法去利用数据挖掘服务决策的。
事实上，数据挖掘在移动的成功案例中，真正建立企业级数据仓库以后再做数据挖掘的，保守估计，不到50％，即便在宣称已建立了数据仓库的客户中，了解项目的人也会知道，现有数据仓库的可用性往往不高，能够直接为数据挖掘服务的很少。
实际上，成熟的数据挖掘方案，数据准备是最重要的环节之一，但是这并不等同于数据挖掘必须依赖数据仓库甚至企业级数据仓库才能完成数据准备。
1。数据挖掘的数据准备要求往往是常规的数据仓库不易实现的（Inmon在数据仓库里加入ODS很大程度是为了适应复杂的细颗粒分析），因此，数据挖掘的方案中都会有自己的数据准备方法和工具，既可以借助符合要求的数据仓库，也可以独立实现。
2。数据挖掘的数据准备可能会借助企业已有的数据库系统来完成，但数据库系统并不等同于数据仓库。
3。数据挖掘的数据准备主要是服务于数据挖掘及以后的策略实施，并不一定按照数据仓库的规范来建立，有时甚至连数据集市的级别都不需要达到。因此，对于元数据规范，过程管理不一定花很多功夫，以免喧宾夺主。实际的项目中，数据挖掘组的人可能有义务提交自己的数据准备过程的相关资料给数据仓库组，但并不负责建立，整合和自动化这些流程，也不会因为这些阻碍数据挖掘的进行。
4。数据仓库和数据挖掘在建立中有很多途径，
全面收集需求－>建立企业数据仓库－>建立数据挖掘主题－>数据挖掘 这是一种，
业务理解－>建立数据挖掘主题－>数据挖掘（含数据准备）->提供详细数据需求给数据仓库－>数据仓库架构设计->《更多的应用数据详细需求反馈》->数据仓库逐步实施－>逐步整合接管数据挖掘的数据处理环节－>新的数据挖掘架构，又是一种。经历和学习的实例中，大部分是从第一种的痛苦转入第二种的务实的。
5。个人更倾向于一些实践大师的观点：
“数据挖掘可以不需要数据仓库，但是不需要数据挖掘的数据仓库是没有未来的数据仓库”

“在建模过程中，把数据分层为训练数据和校验数据，训练数据主要使用于建模过程中求解模型参数，而校验数据主要用于模型检验。因此模型检验阶段的主要工作是把检验数据代入已经建立的模型中，观察模型的响应，通过比较模型的响应和真实的数据，从而评估模型的准确程度”
事实上，数据挖掘的建模过程和评估过程的数据重构需要三部分数据（training,test,evaluation, Berry&Linoff: Mastering Data Mining）,training和test用于在建模过程中的训练和校验的交互，这在神经元网络中很明显，这个交互很多情形是算法或工具自动的，evaluation是一组建模中unseen的数据，用于模型评估，这个过程的人工干预成分很高。
而且，并不是所有的数据挖掘建模都需要这种数据重构。在一些数据量和时间范围积累都不足的场合，用户更愿意利用模拟投放期的Champion-Challenger 模型去校验和评估模型。


楼主的帖子已经将移动挖掘应用中非常实际和深入的环节总结出来了，想来是希望交流更多出于项目实践的经验教训，比如在服务商都宣称要做并能做营销分析，而且纸面方案多多的情况下，如何甄别出最为有效的方法。