Statistical Data Mining

shiyiming

前言

资料发掘的工作（Data Mining）是近年来数据库应用领域中，相当热门的议题。它是个神奇又时髦的技术，但却也不是什么新东西，因为Data Mining使用的分析方法，如预测模型（回归、时间数列）、数据库分割（Database Segmentation）、连接分析（Link Analysis）、偏差侦测（Deviation Detection）等；美国政府从第二次世界大战前，就在人口普查以及军事方面使用这些技术，但是信息科技的进展超乎想象，新工具的出现，例如关连式数据库、对象导向数据库、柔性计算理论（包括Neural network、Fuzzy theory、Genetic Algorithms、Rough Set等）、人工智能的应用（如知识工程、专家系统），以及网络通讯技术的发展，使从资料堆中挖掘宝藏，常常能超越归纳范围的关系；使Data Mining成为企业智能的一部份。

Data Mining是一个浮现中的新领域。在范围和定义上、推理和期望上有一些不同。挖掘的信息和知识从巨大的数据库而来，它被许多研究者在数据库系统和机器学习当作关键研究议题，而且也被企业体当作主要利基的重要所在。有许多不同领域的专家，对Data Mining展现出极大兴趣，例如在信息服务业中，浮现一些应用，如在Internet之资料仓储和线上服务，并且增加企业的许多生机。

我们对于这种Data Mining的产品应该有一个正确的认知，就是它不是一个无所不能的魔法。它不是在那边监视你的资料的状况，然后告诉你说你的数据库里发生了某种特别的现象。也不是说有了Data Mining的工具，就连不了解业务、不了解资料所代表的意义、或是不了解统计原理的人也可以做Data Mining。Data Mining所挖掘出来的信息，也不是你可以不经确认，就可以照单全收应用到业务上的。事实上，Data Mining工具是用来帮助业务分析策画人员从资料中发掘出各种假设（Hypothesis），但是它并不帮你查证（Verify）这些假设，也不帮你判断这些假设对你的价值。

何谓Data Mining
Data Mining是指找寻隐藏在资料中的讯息，如趋势（Trend）、特征（Pattern）及相关性（Relationship）的过程，也就是从资料中发掘信息或知识（有人称为Knowledge  Discovery in Databases, KDD），也有人称为「资料考古学」(Data Archaeology)、「资料样型分析」（Data Pattern Analysis）或「功能相依分析」(Functional Dependency  Analysis)，目前已被许多研究人员视为结合数据库系统与机器学习技术的重要领域，许多产业界人士也认为此领域是一项增加各企业潜能的重要指针。此领域蓬勃发展的原因：现代的企业体经常搜集了大量资料，包括市场、客户、供货商、竞争对手以及未来趋势等重要信息，但是信息超载与无结构化，使得企业决策单位无法有效利用现存的信息，甚至使决策行为产生混乱与误用。如果能透过资料发掘技术，从巨量的数据库中，发掘出不同的信息与知识出来，作为决策支持之用，必能产生企业的竞争优势。

Data Mining可说会合了以下六种领域：

●Database systems, Data Warehouses, OLAP  

●Machine learning

●Statistical and data analysis methods

●Visualization

●Mathematical programming

●High performance computing


Data Mining应用的行业包括了金融业、电信业、零售商、直效行销、制造业、医疗保健及制药业等等，应用领域如下表：

Applications of Data Mining

Customer-focused
Operations-focused
Research-focused

●Life-time Value

●Market-Basket Analysis

●Profiling & Segmentation

●Retention

●Target Market

●Acquisition

●Knowledge Portal

●Cross-Selling

●Campaign Management

●E-Commerce
●Profitability Analysis

●Pricing

●Fraud Detection

●Risk Assessment

●Portfolio Management

●Employee Turnover

●Cash Management

●Production Efficiency

●Network Performance

●Network Performance

●Manufacturing Processes
●Combinatorial Chemistry

●Genetic Research

●Epidemiology




现今计算机运算能力的跃进，以及资料储存技术的进步，资料仓储的广泛建置，加上企业行销策略转为针对单一消费者个人行销，更突显Data Mining对于企业的迫切性。







Why do we need data mining?