EM方法

shiyiming

sas中的帮助文件怎么老是打不开，流行的EM方法也不熟练，所以还请哪位高手帮忙解决下面的一个缺失数据的问题。
其中0表示该数据已经缺失，请问怎么借助SAS软件解决这个问题，请赐教！
[quote:04c39]a        b        c        d        e        f        g        h        i        j        k        l        m       
45582        71095        1067        787.5        467.4        177.1        287.2        31245124        802737        10781869        19660518        5243306        6072775       
20843        35996        752.21        514.53        174.57        89.11        84.58        18192805        503807        8872230        8816768        2027621        2909215       
5648        9425        204.96        197.1        55.5        27.33        27.96        5101126        73251        2335075        2692800        280880        360890       
11300        19186        245.65        197.02        72.91        38.57        34        3648816        78225        1780471        1790120        254209        317197       
4157        5974        109.58        82.64        29.33        6.21        22.94        2342930        83024        928348        1331558        76637        205930       
15661        27935        488.66        399.55        102.73        46.56        55.39        12007666        235604        5466878        63051814        864402        1089204       
10088        16749        303.94        228.38        72.05        36.19        35.31        8473666        228245        4432992        3812429        316498        539971       
11806        23289        311.77        273.51        158.47        90.68        65.97        7158983        404924        2638987        4115072        529486        33836       
36963        81282        1270.22        1003.08        343.03        147.53        193.27        53462740        737845        25404165        27320730        7127800        8642000       
8426        19905        480.35        323.14        89.97        40.54        48.64        11973437        437475        5664938        5871024        1377983        1520726       
12332        21200        387.01        205.98        67.47        25.72        41.24        13668231        605433        6659698        6403100        1022964        1160832       
4958        9819        146.5        117        33.31        14.04        19.1        3123456        42574        1812329        1268553        245037        274297       
7196        0        157.64        138.73        44.71        0        22.24        0        98802        2426482        2808402        0        416347       
5586        10658        180.99        141.98        42.99        18.56        22.53        3918905        47576        2124087        1747242        208923        234984       
10470        18201        327.55        234.6        66.15        29.75        36.02        9305137        326584        3867734        5110819        560330        622650       
8570        17444        236.7        177.08        64.7        32.68        31.76        4420871        76117        1556864        2787890        400585        488984       
7685        12515        220.04        159.78        61.58        23.32        37.53        5692650        153865        2707627        2831158        473165        538500       
18379        25026        439.79        266.41        94.29        48.35        45.64        10073662        391762        4564645        5117255        593850        469381       
4012        11586        194.92        136.57        47.14        24.94        21.83        2809254        115817        1452361        14652        290039        379121       
0        26986        497.38        276.64        108.11        0        56.39        7480800        273600        0        3756500        570329        618703       
5863        12433        191.7        157.64        49.4        25.6        23.5        3401401        84081        1773843        1543477        194716        285486       
3187        6958        115.72        65.46        16.54        5.76        10.69        822828        14893        313322        494613        66640        130085       
2921        4752        69.28        53.28        18028        7.85        9.63        935728        45146        408759        481823        112189        147863       
5450        10672        167.74        140.2        47.77        21.22        25.24        3495926        30423        1177092        2288411        369447        312887       
19696        31035        768.1        459.34        136.09        56.84        73.31        14927435        895342        6604633        7427460        858287        1472036       
2042        4247        65.92        59.88        16.49        10.88        5.41        1209400        17600        676320        515480        67660        97938       
987        1842        89.1        23.9        5.84        3.27        2.42        736034        91934        407600        236500        25074        37809       
2068        4439        49.07        40.48        16.45        11.58        4.78        1353100        11500        953900        387700        46479        70602       
825        1249        48.5        16.9        4.03        1.85        2.06        404946        42341        174149        188456        11542        26035       
3535        4808        122.35        65.79        21.82        10.51        10.11        2105151        136815        1336748        631588        134576        189358       
463        871        38.2        9.2        2.41        0.92        1.42        355444        49570        192294        113580        12202        24664       
1013        1242        45.9        14.1        3.03        1.41        1.51        688519        129099        363593        195827        16471        33875       
576        959        50.7        12.7        2.4        0.86        1.52        442734        98690        157408        186636        11955        23324       
4581        0        217.67        83.52        24.63        0        12.4        2215300        322600        1029700        863000        0        98516       
823        1003        51.2        20.5        4.99        2.39        2.51        500800        119968        216200        164632        15631        26865       
1739        2240        109.9        30.9        5.68        1.19        4.49        724307        259407        246400        218500        21461        42872       
765        1067        52.5        21.2        31.59        5.61        12.13        313237        123969        102724        86544        14089        25679       
1806        3012        103.64        32.56        14.02        8.04        5.57        1113400        156500        571600        385300        32730        61357       
1549        2140        71.81        38.96        7.03        3.24        3.61        1286503        79401        741201        465901        39902        60413       
1428        1753        103.5        32.3        5.64        2.18        3.36        776900        208100        285300        283500        17661        34015       
1218        1710        88.2        24.2        6.82        1.78        4.22        496176        89120        193906        213150        17469        50012       
867        1177        67        11.8        6.43        3.69        2.7        744269        141677        358387        244205        16480        26010       
693        928        62.4        14.3        4        1.94        1.99        312839        98213        120056        94570        10080        27734       
2268        1358        106.8        28        7.13        2.73        2.82        871610        171072        382385        318153        20567        36847       
1578        3442        109.79        61.92        14.16        5.36        7.14        987021        156816        441098        389107        38469        87349       
704        1102        61.5        12.8        3.1        0.86        1.83        517570        98765        224474        194331        18000        32099       
1446        873        91        29.5        6.02        0.73        2.84        534689        159719        211234        173736        17653        31078       
1368        1361        86.9        20.7        3.88        1.38        1.87        500760        114339        208738        177683        17197        32359       
970        1810        35.75        20.12        5.27        1.7        3.37        312260        33305        165315        113640        19303        42531       
1347        1278        116.3        29.6        51.92        9.11        20.1        591345        128713        257526        205106        27068        414701       
771        1231        73        15.6        3.6        0.93        2.61        504397        84453        248965        170979        20328        32748       
721        1745        55.56        22.26        5.14        1.98        2.97        351000        61900        189500        99600        22725        42468       
0        0        51        16.2        4.01        0        2.08        0        81504        0        166266        0        31080       
1849        2656        165.71        34.91        8.54        2.83        5.22        1014700        247100        452400        315200        22982        50100       
1216        1320        91.5        14.6        3.79        1.24        2.51        415326        118926        181000        115400        14214        37999       
1085        1180        76.8        13.1        41.55        4.73        15.74        3118814        95114        102200        121500        11565        32520       
609        907        82.9        8.6        36.2        3.36        14.89        205557        99322        50842        55393        11666        32481       
970        2154        160        34.7        7.66        3.33        3.86        1101323        240489        455608        405226        29152        56744       
2409        3077        101.3        49.5        13.58        6.35        2.72        854400        146300        407300        300800        31891        45687       
1461        2344        161.7        30.7        5.12        0.95        3.78        995171        203371        440500        351300        18938        42832       
8410        16621        188.98        156.22        50.21        19.5        30.57        5369085        89335        2147669        3132081        304323        465602       
1185        2266        131.9        5.9        3.69        0.58        3.09        821483        195455        379077        246951        37284        62324       
3417        6632        77.22        58.05        19.16        12.09        7.02        1782963        46440        1026276        710247        103478        161112       
1204        1565        99.5        11.7        3.73        1.32        2.36        677933        136868        349952        191113        18891        37382       
1648        4143        69.321        56.17        15.65        9.78        5.83        1452700        27132        735042        690526        52534        102601       
1096        1790        89.2        7.5        4.68        2.12        2.52        515559        12944        27896        40621        3037        7538       
166        305        10.1        1.3        0.66        0.17        0.48        81461        12944        27896        40621        3037        7538       
6028        10087        89.98        83.23        15.97        8.09        7.76        1139924        44630        434528        660766        38776        80808       
949        1759        124        17.2        7.12        0.91        2.09        531632        145397        158800        227435        14888        31320       
969        1348        84.7        13.5        5.74        2.26        3.4        409597        114469        162467        132661        12729        25801       
1325        3132        61.35        34.64        8.89        4.25        4.57        443882        32502        180088        232292        23232        75112       
458        842        73.1        8.1        3.05        0.69        2.3        240079        118825        31356        89898        9049        21088       
1550        3638        92.39        52.28        15.16        8        6.53        1943223        120777        928631        893815        54795        93723       
541        1059        70.4        8.6        6.84        2.84        3.8        429932        129909        201181        98842        23874        40491       
505        983        49.6        2        2.33        0.6        1.6        298364        79736        123414        85214        14244        25294       
2377        4402        135.77        43.7        9.56        2.92        6.38        2020638        208013        1109815        702810        76846        139219       
311        560        26.1        12.3        1.59        0.6        0.99        160632        47321        62086        51225        8302        15543       
659        1475        46.28        12.82        3.6        0.61        2.91        428112        54067        0        292359        21154        49112       
1972        3280        127.03        32.07        8.38        2.72        5.61        0        144293        0        207311        32342        87634       
1052        1504        72.7        12.8        5.47        1.13        2.83        361874        127817        103126        130931        9593        26525       
0        2144        63.89        29.37        8.3        3.33        4.91        0        79248        371590        339331        59271        100255       
690        1001        36.6        11.5        3.93        2.18        1.69        327318        67629        137353        122336        15320        27969       
1885        3219        108.16        29.57        7.69        2.68        4.83        667264        172564        247607        247093        29680        79748       
1075        2199        32.65        21.78        4.87        1.21        3.61        433602        11914        70952        350736        22968        51878       
536        1001        50.9        11.9        2.96        1.06        1.85        144368        58586        35710        50072        8131.3        23914.5       
814        2019        40.56        24.47        7.2        3.61        3.33        484654        28854        250097        205703        28543        58944       
731        1357        35.1        15.4        5.81        3.69        2.1        329432        17213        178110        134109        13984        23094       
1393        2207        108        13.1        4.24        1.15        2.95        301273        86324        106378        108571        14256        32794       
719        1474        28.3        11.4        3.61        2.19        1.42        197598        28511        87011        82076        76825        14500       
20481        35109        583.89        465.31        162.72        66.74        95.18        27311112        710609        10603416        15997087        2363005        3125623       
946        1343        83.4        13.8        8.58        5.15        3.32        1783415        223052        1051887        508476        64592        87379       
742        1929        53.3        9.9        3.83        1.83        1.91        891465.5        97060.5        588904        205501        31140        53736       
1566        2714        53.07        46.33        11.58        6.52        5.03        1008422        24259        613003        371160        68602        119449       
480        1396        51.4        17.9        3.54        1.73        1.77        218893        62004        66849        90040        6610        34597       
368        475        45.6        8.2        1.93        0.52        1.36        232916        89068        61346        82502        6913        24642       
7853        11808        139.45        112.04        102.64        56.63        45.32        22568300        190600        12346900        10030800        2659287        3077761       
2026        3591        78.61        55.84        31        19.32        10.61        4062651        161776        2241054        1659821        312326        418030       
2731        5067        120.12        120.12        19.53        8.56        10.94        2422338        64724        1049079        0        135375        0       
1728        1882        268.2        79.1        5.68        0.7        4.96        1400800        232400        635200        533200        34774        0       
552        749        83.8        22.7        3.26        0.98        2.26        924506        147444.7        471694        305368        28289        54095       
7000        13485        338.98        174.53        46.6        23.48        22.85        11759169        721356        6257482        4780331        850041        1041927       
2277        4013        131.53        60        17.45        9.52        7.9        3069024        222500        1444101        1402423        142940        192141       
519        1644        99        13        4.62        1.64        2.86        1236261        193620        560576        482065        38599        54106       
674        1272        67.9        6.6        6.03        3.74        2.24        1106829.7        113327.7        543207        450295        37931        50236       
448        703        35.5        15.1        3.94        2.35        1.58        747691        75488        402124        270079        23996        37618       
635        921        47        17.2        2.65        1.32        0.64        500861        97126        183520        220215        13938        30260       
2332        4605        143.14        71.97        15.31        4.73        10.14        2342505        194620        1239850        908035        83202        130320       
833        1621        150        18        5.66        1.21        3.56        673826.5        265926.5        159197        248703        10212        50690       
857        2240        148.2        16.5        5.87        1.28        3.06        517237.7        232378.7        77002        207857        10793        44455       
730        1024        99.9        10.9        3.33        1.09        2.2        338334.7        91283.7        114072        132979        8453        34550       
880        2258        118.73        45.54        9.04        3.95        5.06        1807646        186185        956386        665075        70347        119417       
1105        2356        157.1        24.6        5.97        1.98        3.47        1194832        390345        406657        397830        18858        50085       
729        1177        140        20        5.64        1.26        3.48        1194832        390345        305979        419774        9777        46904       
612        1243        123.4        14.4        3.52        0.69        2.73        924551        347240        302328        274983        9573        42752       
1390        2808        73.1        35.25        10.02        5.49        4.48        960413        74828        397157        488428        53788        91198       
584        978        73.1        11.5        3.12        1.27        1.83        1276086.7        354022.7        375631        546433        20993        37998       
425        827        42.2        12        3.31        1.2        2.06        0        188944.8        367579        171541        17398.5        38842.3       
1151        2103        40.03        35.45        17.37        12.36        4.95        1837887        32530        1349201        456156        108869        158343       
844        1313        63.8        6.6        17.23        16.87        6.77        1336208        178237        719609        438362        47057        69186       
628        1595        30.64        23.64        3.98        1.27        2.68        274031        19416        131248        123367        23906        94302       
1175        1424        112.7        14.6        4.04        0.75        3.22        399482.6        117328.6        125359        156795        14519        53514       
0        746        45.6        22.34        3.76        1.44        2.2        338200        91121        110041        137038        16520        45398       
515        972        150.5        42.7        4.15        0.71        2.96        448486        179844        144366        124276        13299        43823       
555        983        30.82        24.36        4.24        2        2.21        197945        21349        99517        77079        12367        50598       
816        1516        55.22        31.43        6.26        2.41        3.76        508000        161800        187400        158831        28186        65656       
550        1162        104.7        13.7        5.23        1.78        3.2        520168        251305        133471        135392        10938        38527       
790        1388        54.34        20.48        5.52        1.96        3.51        416357        90210        158804        167343        23130        57516       
510        1498        104.5        11.7        3.69        1.11        2.24        369891        197110        66124        106657        9628        43727       
617        971        50.3        10.1        2.08        0.63        1.44        225542        85804        70399        69339        8331        26746       
3523        8396        156.19        56.27        17.39        7.9        9.44        6728910        303398        3697088        2728424        552933        649606       
2263        4402        136.03        43.56        14.39        7.67        6.69        4156701        261908        2462944        1431849        312128        349706       
902        1066        34.36        31.12        5.08        2.48        2.58        474564        10829        214908        248827        29369        57956       
939        1236        68.07        45.99        3.55        1.2        2.32        838500        62400        524800        251300        32811        70917       
1148        1386        200.1        60.4        5.08        0.67        4.09        1555557.2        190187.2        768912        596458        39588        69773       
400        677        28.12        20.89        3.25        1.79        1.45        315552        65433        136026        114093        15950        31306       
645        1372        108.7        36.3        4.29        1.78        2.48        797383        234277        276397        276709        11370        40091       
5747        9624        140.39        103.17        36.41        14.2        21.16        2690634        107484        759528        1823622        223402        283127       
2576        4524        63.88        55.18        18.19        5.94        12.05        1627047        39645        491698        1095704        190833        138056       
19054        33273        999.05        423.97        130.98        67.99        62.19        10497075        836204        5052175        4608696        1255799        2392325[/quote:04c39]

shiyiming

SAS中的EM是enterprise miner，企业数据挖掘。

你的EM算法是expection maximum。

SAS中用lifetest过程处理这种问题。我不知道你的题目具体要求是什么，下面给出一个简单例子（[url:2ed20]http://www.shmu.edu.cn/courses/2003aut/survival.ppt[/url:2ed20]）。

[quote:2ed20]data life;
input days@@;
censor=(days<0);
     /*设定删失标志：括号中为逻辑表达式，days<0如为真，则变量censor值为1，表示删失；否则为0，表示失效*/
group=(_n_>12)+1;
     /*通过逻辑判别式进行分组：_n_为内部变量，表示记录序号。*/
days=abs(days);   /*取绝对值*/
cards;
8 52 58 63 63 220 365 452 496 -528 -560 -676
13 18 23 70 76 180 195 210 232 300 396 -490 -540
;
proc lifetest plots=(S) FORMCHAR(1,2,7)='|-*';   
            /* 要求对生存率和时间作图*/
time days*censor(1);   
           /*时间变量为days，变量censor值为1的为删失记录*/
strata group;
          /* 按group分层分析，可比较层间一致性（齐性）*/
run;[/quote:2ed20]

shiyiming

我不知道expection maximum。在google上也没找到。不过1楼说的缺失，不是指删失，也不是指截尾吧。1楼是不是想把缺失值通过em方法替换成非缺失值啊？好像spss中有缺失值处理的菜单。

shiyiming

看样你不是“数理统计”专业毕业的。

EM算法即期望最大化算法，在数据不完整的时候我们一般采用两种方法进行估计：MLE；EM算法。

shiyiming

mle指最大似然估计？这是常用的估计方法。知道随机项的概率分布都可以用mle。不过em方面的文献真没看到过。collen兄能不能给点资料，或告诉我在那本书上可以找到？

shiyiming

茆诗松，高等数理统计。