SAS中文论坛

标题: EM方法 [打印本页]

作者: shiyiming 时间: 2004-6-29 17:21
标题: EM方法
sas中的帮助文件怎么老是打不开，流行的EM方法也不熟练，所以还请哪位高手帮忙解决下面的一个缺失数据的问题。
其中0表示该数据已经缺失，请问怎么借助SAS软件解决这个问题，请赐教！
[quote:04c39]a b c d e f g h i j k l m
45582 71095 1067 787.5 467.4 177.1 287.2 31245124 802737 10781869 19660518 5243306 6072775
20843 35996 752.21 514.53 174.57 89.11 84.58 18192805 503807 8872230 8816768 2027621 2909215
5648 9425 204.96 197.1 55.5 27.33 27.96 5101126 73251 2335075 2692800 280880 360890
11300 19186 245.65 197.02 72.91 38.57 34 3648816 78225 1780471 1790120 254209 317197
4157 5974 109.58 82.64 29.33 6.21 22.94 2342930 83024 928348 1331558 76637 205930
15661 27935 488.66 399.55 102.73 46.56 55.39 12007666 235604 5466878 63051814 864402 1089204
10088 16749 303.94 228.38 72.05 36.19 35.31 8473666 228245 4432992 3812429 316498 539971
11806 23289 311.77 273.51 158.47 90.68 65.97 7158983 404924 2638987 4115072 529486 33836
36963 81282 1270.22 1003.08 343.03 147.53 193.27 53462740 737845 25404165 27320730 7127800 8642000
8426 19905 480.35 323.14 89.97 40.54 48.64 11973437 437475 5664938 5871024 1377983 1520726
12332 21200 387.01 205.98 67.47 25.72 41.24 13668231 605433 6659698 6403100 1022964 1160832
4958 9819 146.5 117 33.31 14.04 19.1 3123456 42574 1812329 1268553 245037 274297
7196 0 157.64 138.73 44.71 0 22.24 0 98802 2426482 2808402 0 416347
5586 10658 180.99 141.98 42.99 18.56 22.53 3918905 47576 2124087 1747242 208923 234984
10470 18201 327.55 234.6 66.15 29.75 36.02 9305137 326584 3867734 5110819 560330 622650
8570 17444 236.7 177.08 64.7 32.68 31.76 4420871 76117 1556864 2787890 400585 488984
7685 12515 220.04 159.78 61.58 23.32 37.53 5692650 153865 2707627 2831158 473165 538500
18379 25026 439.79 266.41 94.29 48.35 45.64 10073662 391762 4564645 5117255 593850 469381
4012 11586 194.92 136.57 47.14 24.94 21.83 2809254 115817 1452361 14652 290039 379121
0 26986 497.38 276.64 108.11 0 56.39 7480800 273600 0 3756500 570329 618703
5863 12433 191.7 157.64 49.4 25.6 23.5 3401401 84081 1773843 1543477 194716 285486
3187 6958 115.72 65.46 16.54 5.76 10.69 822828 14893 313322 494613 66640 130085
2921 4752 69.28 53.28 18028 7.85 9.63 935728 45146 408759 481823 112189 147863
5450 10672 167.74 140.2 47.77 21.22 25.24 3495926 30423 1177092 2288411 369447 312887
19696 31035 768.1 459.34 136.09 56.84 73.31 14927435 895342 6604633 7427460 858287 1472036
2042 4247 65.92 59.88 16.49 10.88 5.41 1209400 17600 676320 515480 67660 97938
987 1842 89.1 23.9 5.84 3.27 2.42 736034 91934 407600 236500 25074 37809
2068 4439 49.07 40.48 16.45 11.58 4.78 1353100 11500 953900 387700 46479 70602
825 1249 48.5 16.9 4.03 1.85 2.06 404946 42341 174149 188456 11542 26035
3535 4808 122.35 65.79 21.82 10.51 10.11 2105151 136815 1336748 631588 134576 189358
463 871 38.2 9.2 2.41 0.92 1.42 355444 49570 192294 113580 12202 24664
1013 1242 45.9 14.1 3.03 1.41 1.51 688519 129099 363593 195827 16471 33875
576 959 50.7 12.7 2.4 0.86 1.52 442734 98690 157408 186636 11955 23324
4581 0 217.67 83.52 24.63 0 12.4 2215300 322600 1029700 863000 0 98516
823 1003 51.2 20.5 4.99 2.39 2.51 500800 119968 216200 164632 15631 26865
1739 2240 109.9 30.9 5.68 1.19 4.49 724307 259407 246400 218500 21461 42872
765 1067 52.5 21.2 31.59 5.61 12.13 313237 123969 102724 86544 14089 25679
1806 3012 103.64 32.56 14.02 8.04 5.57 1113400 156500 571600 385300 32730 61357
1549 2140 71.81 38.96 7.03 3.24 3.61 1286503 79401 741201 465901 39902 60413
1428 1753 103.5 32.3 5.64 2.18 3.36 776900 208100 285300 283500 17661 34015
1218 1710 88.2 24.2 6.82 1.78 4.22 496176 89120 193906 213150 17469 50012
867 1177 67 11.8 6.43 3.69 2.7 744269 141677 358387 244205 16480 26010
693 928 62.4 14.3 4 1.94 1.99 312839 98213 120056 94570 10080 27734
2268 1358 106.8 28 7.13 2.73 2.82 871610 171072 382385 318153 20567 36847
1578 3442 109.79 61.92 14.16 5.36 7.14 987021 156816 441098 389107 38469 87349
704 1102 61.5 12.8 3.1 0.86 1.83 517570 98765 224474 194331 18000 32099
1446 873 91 29.5 6.02 0.73 2.84 534689 159719 211234 173736 17653 31078
1368 1361 86.9 20.7 3.88 1.38 1.87 500760 114339 208738 177683 17197 32359
970 1810 35.75 20.12 5.27 1.7 3.37 312260 33305 165315 113640 19303 42531
1347 1278 116.3 29.6 51.92 9.11 20.1 591345 128713 257526 205106 27068 414701
771 1231 73 15.6 3.6 0.93 2.61 504397 84453 248965 170979 20328 32748
721 1745 55.56 22.26 5.14 1.98 2.97 351000 61900 189500 99600 22725 42468
0 0 51 16.2 4.01 0 2.08 0 81504 0 166266 0 31080
1849 2656 165.71 34.91 8.54 2.83 5.22 1014700 247100 452400 315200 22982 50100
1216 1320 91.5 14.6 3.79 1.24 2.51 415326 118926 181000 115400 14214 37999
1085 1180 76.8 13.1 41.55 4.73 15.74 3118814 95114 102200 121500 11565 32520
609 907 82.9 8.6 36.2 3.36 14.89 205557 99322 50842 55393 11666 32481
970 2154 160 34.7 7.66 3.33 3.86 1101323 240489 455608 405226 29152 56744
2409 3077 101.3 49.5 13.58 6.35 2.72 854400 146300 407300 300800 31891 45687
1461 2344 161.7 30.7 5.12 0.95 3.78 995171 203371 440500 351300 18938 42832
8410 16621 188.98 156.22 50.21 19.5 30.57 5369085 89335 2147669 3132081 304323 465602
1185 2266 131.9 5.9 3.69 0.58 3.09 821483 195455 379077 246951 37284 62324
3417 6632 77.22 58.05 19.16 12.09 7.02 1782963 46440 1026276 710247 103478 161112
1204 1565 99.5 11.7 3.73 1.32 2.36 677933 136868 349952 191113 18891 37382
1648 4143 69.321 56.17 15.65 9.78 5.83 1452700 27132 735042 690526 52534 102601
1096 1790 89.2 7.5 4.68 2.12 2.52 515559 12944 27896 40621 3037 7538
166 305 10.1 1.3 0.66 0.17 0.48 81461 12944 27896 40621 3037 7538
6028 10087 89.98 83.23 15.97 8.09 7.76 1139924 44630 434528 660766 38776 80808
949 1759 124 17.2 7.12 0.91 2.09 531632 145397 158800 227435 14888 31320
969 1348 84.7 13.5 5.74 2.26 3.4 409597 114469 162467 132661 12729 25801
1325 3132 61.35 34.64 8.89 4.25 4.57 443882 32502 180088 232292 23232 75112
458 842 73.1 8.1 3.05 0.69 2.3 240079 118825 31356 89898 9049 21088
1550 3638 92.39 52.28 15.16 8 6.53 1943223 120777 928631 893815 54795 93723
541 1059 70.4 8.6 6.84 2.84 3.8 429932 129909 201181 98842 23874 40491
505 983 49.6 2 2.33 0.6 1.6 298364 79736 123414 85214 14244 25294
2377 4402 135.77 43.7 9.56 2.92 6.38 2020638 208013 1109815 702810 76846 139219
311 560 26.1 12.3 1.59 0.6 0.99 160632 47321 62086 51225 8302 15543
659 1475 46.28 12.82 3.6 0.61 2.91 428112 54067 0 292359 21154 49112
1972 3280 127.03 32.07 8.38 2.72 5.61 0 144293 0 207311 32342 87634
1052 1504 72.7 12.8 5.47 1.13 2.83 361874 127817 103126 130931 9593 26525
0 2144 63.89 29.37 8.3 3.33 4.91 0 79248 371590 339331 59271 100255
690 1001 36.6 11.5 3.93 2.18 1.69 327318 67629 137353 122336 15320 27969
1885 3219 108.16 29.57 7.69 2.68 4.83 667264 172564 247607 247093 29680 79748
1075 2199 32.65 21.78 4.87 1.21 3.61 433602 11914 70952 350736 22968 51878
536 1001 50.9 11.9 2.96 1.06 1.85 144368 58586 35710 50072 8131.3 23914.5
814 2019 40.56 24.47 7.2 3.61 3.33 484654 28854 250097 205703 28543 58944
731 1357 35.1 15.4 5.81 3.69 2.1 329432 17213 178110 134109 13984 23094
1393 2207 108 13.1 4.24 1.15 2.95 301273 86324 106378 108571 14256 32794
719 1474 28.3 11.4 3.61 2.19 1.42 197598 28511 87011 82076 76825 14500
20481 35109 583.89 465.31 162.72 66.74 95.18 27311112 710609 10603416 15997087 2363005 3125623
946 1343 83.4 13.8 8.58 5.15 3.32 1783415 223052 1051887 508476 64592 87379
742 1929 53.3 9.9 3.83 1.83 1.91 891465.5 97060.5 588904 205501 31140 53736
1566 2714 53.07 46.33 11.58 6.52 5.03 1008422 24259 613003 371160 68602 119449
480 1396 51.4 17.9 3.54 1.73 1.77 218893 62004 66849 90040 6610 34597
368 475 45.6 8.2 1.93 0.52 1.36 232916 89068 61346 82502 6913 24642
7853 11808 139.45 112.04 102.64 56.63 45.32 22568300 190600 12346900 10030800 2659287 3077761
2026 3591 78.61 55.84 31 19.32 10.61 4062651 161776 2241054 1659821 312326 418030
2731 5067 120.12 120.12 19.53 8.56 10.94 2422338 64724 1049079 0 135375 0
1728 1882 268.2 79.1 5.68 0.7 4.96 1400800 232400 635200 533200 34774 0
552 749 83.8 22.7 3.26 0.98 2.26 924506 147444.7 471694 305368 28289 54095
7000 13485 338.98 174.53 46.6 23.48 22.85 11759169 721356 6257482 4780331 850041 1041927
2277 4013 131.53 60 17.45 9.52 7.9 3069024 222500 1444101 1402423 142940 192141
519 1644 99 13 4.62 1.64 2.86 1236261 193620 560576 482065 38599 54106
674 1272 67.9 6.6 6.03 3.74 2.24 1106829.7 113327.7 543207 450295 37931 50236
448 703 35.5 15.1 3.94 2.35 1.58 747691 75488 402124 270079 23996 37618
635 921 47 17.2 2.65 1.32 0.64 500861 97126 183520 220215 13938 30260
2332 4605 143.14 71.97 15.31 4.73 10.14 2342505 194620 1239850 908035 83202 130320
833 1621 150 18 5.66 1.21 3.56 673826.5 265926.5 159197 248703 10212 50690
857 2240 148.2 16.5 5.87 1.28 3.06 517237.7 232378.7 77002 207857 10793 44455
730 1024 99.9 10.9 3.33 1.09 2.2 338334.7 91283.7 114072 132979 8453 34550
880 2258 118.73 45.54 9.04 3.95 5.06 1807646 186185 956386 665075 70347 119417
1105 2356 157.1 24.6 5.97 1.98 3.47 1194832 390345 406657 397830 18858 50085
729 1177 140 20 5.64 1.26 3.48 1194832 390345 305979 419774 9777 46904
612 1243 123.4 14.4 3.52 0.69 2.73 924551 347240 302328 274983 9573 42752
1390 2808 73.1 35.25 10.02 5.49 4.48 960413 74828 397157 488428 53788 91198
584 978 73.1 11.5 3.12 1.27 1.83 1276086.7 354022.7 375631 546433 20993 37998
425 827 42.2 12 3.31 1.2 2.06 0 188944.8 367579 171541 17398.5 38842.3
1151 2103 40.03 35.45 17.37 12.36 4.95 1837887 32530 1349201 456156 108869 158343
844 1313 63.8 6.6 17.23 16.87 6.77 1336208 178237 719609 438362 47057 69186
628 1595 30.64 23.64 3.98 1.27 2.68 274031 19416 131248 123367 23906 94302
1175 1424 112.7 14.6 4.04 0.75 3.22 399482.6 117328.6 125359 156795 14519 53514
0 746 45.6 22.34 3.76 1.44 2.2 338200 91121 110041 137038 16520 45398
515 972 150.5 42.7 4.15 0.71 2.96 448486 179844 144366 124276 13299 43823
555 983 30.82 24.36 4.24 2 2.21 197945 21349 99517 77079 12367 50598
816 1516 55.22 31.43 6.26 2.41 3.76 508000 161800 187400 158831 28186 65656
550 1162 104.7 13.7 5.23 1.78 3.2 520168 251305 133471 135392 10938 38527
790 1388 54.34 20.48 5.52 1.96 3.51 416357 90210 158804 167343 23130 57516
510 1498 104.5 11.7 3.69 1.11 2.24 369891 197110 66124 106657 9628 43727
617 971 50.3 10.1 2.08 0.63 1.44 225542 85804 70399 69339 8331 26746
3523 8396 156.19 56.27 17.39 7.9 9.44 6728910 303398 3697088 2728424 552933 649606
2263 4402 136.03 43.56 14.39 7.67 6.69 4156701 261908 2462944 1431849 312128 349706
902 1066 34.36 31.12 5.08 2.48 2.58 474564 10829 214908 248827 29369 57956
939 1236 68.07 45.99 3.55 1.2 2.32 838500 62400 524800 251300 32811 70917
1148 1386 200.1 60.4 5.08 0.67 4.09 1555557.2 190187.2 768912 596458 39588 69773
400 677 28.12 20.89 3.25 1.79 1.45 315552 65433 136026 114093 15950 31306
645 1372 108.7 36.3 4.29 1.78 2.48 797383 234277 276397 276709 11370 40091
5747 9624 140.39 103.17 36.41 14.2 21.16 2690634 107484 759528 1823622 223402 283127
2576 4524 63.88 55.18 18.19 5.94 12.05 1627047 39645 491698 1095704 190833 138056
19054 33273 999.05 423.97 130.98 67.99 62.19 10497075 836204 5052175 4608696 1255799 2392325[/quote:04c39]

作者: shiyiming 时间: 2004-6-29 18:42
标题: :)
SAS中的EM是enterprise miner，企业数据挖掘。

你的EM算法是expection maximum。

SAS中用lifetest过程处理这种问题。我不知道你的题目具体要求是什么，下面给出一个简单例子（[url:2ed20]http://www.shmu.edu.cn/courses/2003aut/survival.ppt[/url:2ed20]）。

[quote:2ed20]data life;
input days@@;
censor=(days<0);
   /*设定删失标志：括号中为逻辑表达式，days<0如为真，则变量censor值为1，表示删失；否则为0，表示失效*/
group=(_n_>12)+1;
   /*通过逻辑判别式进行分组：_n_为内部变量，表示记录序号。*/
days=abs(days); /*取绝对值*/
cards;
8 52 58 63 63 220 365 452 496 -528 -560 -676
13 18 23 70 76 180 195 210 232 300 396 -490 -540
;
proc lifetest plots=(S) FORMCHAR(1,2,7)='|-*';
         /* 要求对生存率和时间作图*/
time days*censor(1);
         /*时间变量为days，变量censor值为1的为删失记录*/
strata group;
      /* 按group分层分析，可比较层间一致性（齐性）*/
run;[/quote:2ed20]

作者: shiyiming 时间: 2004-6-29 19:54
标题: missing value
我不知道expection maximum。在google上也没找到。不过1楼说的缺失，不是指删失，也不是指截尾吧。1楼是不是想把缺失值通过em方法替换成非缺失值啊？好像spss中有缺失值处理的菜单。

作者: shiyiming 时间: 2004-6-30 07:40
标题: @
看样你不是“数理统计”专业毕业的。

EM算法即期望最大化算法，在数据不完整的时候我们一般采用两种方法进行估计：MLE；EM算法。

作者: shiyiming 时间: 2004-6-30 19:15
标题: em
mle指最大似然估计？这是常用的估计方法。知道随机项的概率分布都可以用mle。不过em方面的文献真没看到过。collen兄能不能给点资料，或告诉我在那本书上可以找到？

作者: shiyiming 时间: 2004-7-1 07:28
标题: :)
茆诗松，高等数理统计。

欢迎光临 SAS中文论坛 (http://mysas.net/forum/)