关于数据库读取效率问题

shiyiming

SAS改进了模块，速度已经比较快了。
有个关于数据库的问题想请教下计算机类的同志

在sas读取写入数据库方面，以效率最高为衡量，以下那种方式更快：

1。
建立足够多的空观测数据库，之后在有新值的时候将新值赋值到有观测但观测值没有的观测中

分析：1）这样预置数据库刚开始就会比较大，在sas读取数据库的时候会不会影响效率。而且在打开的运行方面，进行查询等操作时，对大文件会不会慢些。2）按道理说，打开数据库后直接赋值到观测上面，这个速度会不会快些。

2。

建立库结构，之后在有新值的时候新建观测，之后赋值。

分析：1）这样这样预置数据库刚开始会比较小，打开速度肯定会快些。
2）但是，要新增观测，然后再赋值，这样会不会慢些。


TIA

shiyiming

如果说我的理解没错的话，那以下方法是不是能达到最佳效率：

预置数据库设置一个工作周期的空观测（比如说一天的观测量），这样可以使预置的数据库不会太大，更新数据时的速度也会变快。

做分析时加入非空观测判断即可避免分析空值数据。

shiyiming

no  answer????

shiyiming

回答以下3年前的问题~~~
<!-- s:P --><img src="{SMILIES_PATH}/icon_razz.gif" alt=":P" title="Razz" /><!-- s:P --> <!-- s:D --><img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" /><!-- s:D -->
~~
相信superkuhasu已经解决。。。
使用update和insert 的效率根据数据库不同而不同。比如sybase的update 就很发达，而multi join就很弱，而oracle 则相反。。
如果数据是rotation的，也就是历史数据不需要保存，那么可以使用partition+rotation..
这样效率最高。。跟您说的那个解决翻案相似，但是属于数据库的标准解决方案。。
比如银行每天的交易数据就经常使用这种方法。。(当然不是DW,只是运营系统)

否做的话，应该使用insert , 根proc append一样的作用~~~
以上仅仅为个人经验，仅供参考~~

shiyiming

太好了，谢谢！
现在我这里采用的是数据库的一个解决方案，速度还是比较快的 <!-- s:D --><img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" /><!-- s:D -->

shiyiming

千万保告诉我用SAS(接口)+Raid0+1, cluster+virtual machine+partition+rotation~~~
那人就疯了~~~

shiyiming

o,实际上比那个还快些。。。

shiyiming

非常想知道究竟怎么解决的，terradata的方案？

shiyiming

200M/s的SSD。。。

shiyiming

好办法，，除了写的速度太慢~~~
不过大多数时候对写的要求没有那么高~~~
<!-- s:D --><img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" /><!-- s:D --> ，，我原来以为只是网络服务部分才大量使用SSD..