数据挖掘与统计工作报告(编辑修改稿)

数据挖掘与统计工作报告(编辑修改稿)内容摘要：

被纪录的； 2. 以交互式个人化服务为终极目标，除了因应不同访客呈现专属设计的网页之外，不同的访客也会有不同的服务； 3. 可整合外部来源数据让分析功能发挥地更深更广，除了 log file、 cookies、会员填表数据、在线调查数据、在线交易数据等由网络直接取得的资源外，结合实体世界累积时间更久、范围更广的资源，将使分析的结果更准确也更深入。 利用 Data Mining 技术建立更深入的访客数据 剖析，并赖以架构精准的预测模式，以期呈现真正智能型个人化的网络服务，是 Web Mining 努力的方向。 Data Mining 在 CRM 中扮演的角色为何。 CRM（ Customer Relationship Management）是近来引起热烈讨论与高度关切的议题，尤其在直效行销的崛起与网络的快速发展带动下，跟不上 CRM 的脚步如同跟不上时代。 事实上 CRM 并不算新发明，奥美直效行销推动十数年的 CO（ Customer Ownership）就是现在大家谈的 CRM— 客户关系管理。 Data Mining 应用在 CRM 的主要方式可对应在 Gap Analysis 之三个部分： 针对 Acquisition Gap，可利用 Customer Profiling 找出客户的一些共同的特征，希望能藉此深入了解客户，藉由 Cluster Analysis 对客户进行分群后再透过 Pattern 企业管理 资源网 ()大量管理资料下载 Analysis 预测哪些人可能成为我们的客户，以帮助行销人员找到正确的行销对象，进而降低成本，也提高行销的成功率。 针对 Sales Gap，可利用 Basket Analysis 帮助了解客户的产品消费模式，找出哪些产品客户最容易一起购买，或是利用 Sequence Discovery 预测客户在买了某一样产品之后，在多久之内会买另一样产品等等。 利用 Data Mining 可以更有效的决定产品组合、产品推荐、进货量或库存量，甚或是在店里要如何摆设货品等，同时也可以用来评估促销活动的成效。 针对 Retention Gap，可以由原客户后来却转成竞争对手的客户群中，分析其特征，再根据分析结果到现有客户资料中找出可能转向的客户，然后设计一些方法预防客户流失；更有系统的做法是藉由 Neural Network 根据客户的 消费行为与交易纪录对客户忠诚度进行 Scoring 的排序，如此则可区隔流失率的等级进而配合不同的策略。 CRM 不是设一个（ 080）客服专线就算了，更不仅只是把一堆客户基本数据输入计算机就够，完整的 CRM 运作机制在相关的硬软件系统能健全的支持之前，有太多的数据准备工作与分析需要推动。 企业透过 Data Mining 可以分别针对策略、目标定位、操作效能与测量评估等四个切面之相关问题，有效率地从市场与顾客所搜集累积之大量资料中挖掘 出对消费者而言最关键、最重要的答案，并赖以建立真正由客户需求点出发的客户关系管 理。 企业管理 资源网 ()大量管理资料下载 Data Mining 的进行步骤 资料挖掘既然可以增加企业智慧，提升企业竞争优势，到底应该如何进行呢。 根据 Glymour 等人的研究，提出一个参考的进行步骤如下： （ Acquisition） （ Integration and checking） （ Data cleaning） （ Model and hypothesis development） 核所挖掘的数据（ Testing and verfication） （ Interpretation and use） 从八个步骤来看， Data Mining 牵涉大量的规划与准备，而从其它文献得知，专家声称高达 80%的过程花在准备数据阶段，这包括表格的 Join 以及可能相当大量的数据转换。 从这个角度看， Data Mining 只是知识发掘过程中的一个步骤而已，而达到这个步骤前还有许许多多的工作要完成。 个案研究 现在已经有相当数量的公司安装了数据挖采软件，以找出那些会造成利润差异的信息。 企业管理 资源网 ()大量管理资料下载 英国 Safeway 此个案研究探讨英国的 Safeway 如何运用 Data Mining 来从大量的数据中萃取商业信息。 英国 Safeway 使用 Intelligent Miner 从数据中萃取商业知识，这是一个 Data Mining 可以成为企业的一部份的最佳范例。 英国 Safeway 定义了明确并实际的目标，使用相当干净的数据源，进行 Data Mining，并且投注许多人力用以解读 Data Mining 的结果，并且采取实际的行动以善用 Data Mining 所发掘出来的信息。 英国 Safeway 的 年销售量超过一百亿美金，旗下的员工接近七万名，是英国第三大的连锁超级市场，提供的服务种类则达三十四种。 该公司的信息部有两台System/390 服务器，以平行的方式执行 DB2，其中最大者每周要管理八百万笔交易，以及约 4TB 的磁盘储存容量。 根据英国 Safeway 的信息总监迈克温曲指出，该公司在两年前就体会到必须要采用不同的方式来取得竞争上的优势。 「在英国市场运用传统的技术，如更低的价位、更多的店面、以及更多种类的产品，竞争已经越来越困难了，」温曲先生说：「大部份的竞争对手在价格以及产品范围方面都能与我们匹敌。 由于土地以及扩充的成本，没有一家公司有足够的资源可以在扩充方面超越对手。 」 温曲先生的说法是，这个问题的答案是：「必须以客户为导向，而非以产品与店家为导向。 这意味着我们必须更了解客户个人。 为了达成这个目标，我们必须了解六百万客户所做的每一笔交易，以及这些交易彼此之间的关连性。 」换句话说，英国 Safeway 想要知道哪些种类的客户买了哪些种类的产品以及购买的频率，以建立「个人导向的市场」。 (1)一把网住 将资源集中在特定的问题上，并设定可达成的目标之后，英国 Safeway 在商业智慧过程（也就是 Data Warehousing/Data Mining 过程）中的下一步，就是选择企业管理 资源网 ()大量管理资料下载 适当的数据来源，将客户的交易数据集中在 Data Warehouse 中。 为了达到这个目的，该公司开始发信用卡给客户，客户用这种信用卡结帐可以享受各种优惠，这种信用卡就成为该公司在 500 家店面搜集六百万客户资料的「网」。 这些客户的消费行为数据不断地被从主数据库中萃取出来，每周存在 Data Warehouse 中（大约有 500GB），使用的平台则为执行 Intelligent Miner 的 RS/6000SP2。 IBM 声称该公司在 1996 推出的 Intelligent Miner 能提供 Data Mining 作业所需的完整环境，提供数据准备的设施，以及八种 Data Mining 技术，包括预测模型、数据分割、以及产品吸引力分析，当然还有图形化的结果显示。 通常数据在存入 Data Warehouse 之前，都必须经过各种仔细的转换（ Data Cleansing），例如将标称值转换为数值、定义衍生的属性、以及去除空值（ Null Values）等等，这都要视应用而定。 在英国 Safeway 的个案里，资料源为单一的交易处理系统，该公司对这些数据质量有足够的信心， 而且该公司的目标仅在于大略的估计其客户是哪些人，所以 Data Cleansing 并不是主要的问题。 在资料被存入 Data Warehouse 之后， Intelligent Miner 会根据客户的相关资料，将客户分为 150 类。 然后再用 Association 的技术来比较这些数据集合（这些数据包括交易数据以及产品数据），然后将列出产品吸引力的清单（例如「在购买烤肉炭的客户中， 75%也会购买打火机燃料」）。 温曲先生指出，这些功能是连续发生的：「并没有一位统计师在那里跑来跑去的说：「你知道这件事吗。 」这个过程事实上是 我们业务的一部份。 」 (2)找出模式 温曲先生的说法是，由于 Data Mining 的贡献，「我们找出了超过人类概念范围的关连性。 」例如 Intelligent Miner 发现某一种奶酪产品虽然销售额排名第209，可是消费额最高的客户中有 25%都常常买这种奶酪，这些客户可是英国企业管理 资源网 ()大量管理资料下载 Safeway 最不想得罪的客户。 如果使用传统的分析方法的话，这种产品很快就会不卖了，可是事实上这种产品是相当重要的。 英国 Safeway 也发现在 28 种品牌的橘子汁中，有 8 种特别受到欢迎。 因此该公司得以重新安排货架的摆设，使得橘子汁的 销量能够增加到最大。 「我可以举出数百种与客户购买行为有关的例子，」温曲先生指出：「这些信息实在是无价之宝。 」 还有，英国 Safeway 在了解客户每次采购时会购买哪些产品以后，就可以利用 Data Mining 中的 Sequence Discovery 的功能，以侦测出长期的经常购买行为。 再将这些数据与主数据库的人口统计数据结合在一起， Safeway 的行销部门就可以根据每个家庭的「弱点」，也就是在哪些季节会购买哪些产品的趋势，发出邮件。 「根据这些信息，」温曲先生指出：「我们在去年发出了一千两百万封完全根据个别状况 设计的邮件，这在我们销售量的成长方面扮演了很重要的角色。 」 有些 Data Mining 的结果会比较容易应用到实际上，有的则不然。 针对这个事实，英国 Safeway 使用另外一种工具来筛选结果，也就是将 Data Mining 的结果再做 Data Mining，以找出有显著兴趣的数据。 这种工具虽然目前使用的人不多，可是等到 Data Mining 越来越普遍后，接受度应该会更高。 英国 Safeway 采取的 Data Mining 方式可能是很典型的。 该公司把焦点集中在这种技术的商业利益上，保持数据的品质，设定实际的目标， 而利用其结果时采取的步骤虽然小，但是实用。 换句话说，实际的「 Data Mining」只是较大规模的商业智慧过程中的一小部份而已。 通讯公司 企业管理 资源网 ()大量管理资料下载 与其它电话公司一样， MCI 想要保有最多的顾客。 方法之一就是及时找出可能考虑换到竞争公司的顾客。 如果做得到这一点，该公司就可以设法留下客户，例如提供特别的费率和服务。 如何从数百万的顾客之中，找到你要维持的对象昵。 MCI 的办法是彻底搜寻 1 亿 4 千万笔市场家庭数据，而评估每一笔数据的属性，则高达一万个。 这些特性包括收入、生活力式、过去通话习惯的详绌资料等。 但是 哪些特性的组合才是最需要观察的。 且数据的范围要订在多少昵。 账单月费快速减少，可能代表顾客完全背公司而去了，但是我们可以从顾客的国际电话中找到更精微的模式吗。 或从顾客打电话绐客户服务专线的次数找到模式。 为找出这个模式， MCI 定期启动该公司的 IBMSP/2 超级计算机－该公司的数据仓储（ data warehouse），以找出最显著的变项，并密切注意这个变项。 到目前为止，在多次重复整理历史资料后，这台 SP/2 已经汇编出一套含 22 个详细而高度机密的统计性资料文件。 MCI 的信息主管 指出，没有 数据挖采程序的话，不可能开发出任何统计数据文件。 公司 和其它电话公司一样，它也希望能找出有家用第二和第三条电话线的强烈需求的家庭。 这些需求是为了家中的青少年、传真设备和个人计算机。 但是除非电话公司可以完全确定新增线路会产生实质的利益，否则他们是不会把钱投资在一些特别区域的网络总机和电话干线的。 甚且， US West 说，他们打算精确的找出特定顾客，这些顾客不仅接受公司提供的初级服务，而且会持续使用第二条电话线路，时间久到让公司获有利润。 为了找到这些人， US West 使用一个叫做 PALMS 的程序。 与该公司共同设计这套程序的有 ATamp。 T 的 NCR 计算机部门，及拥有美国航空公司的 AMR 公司旗下的 Sabre Decision Technologies 部门。 PALMS 的执行平白是威力强大的 NCR平行处理计算机。 首先， PALMS 过。