SAS中文论坛

标题: 关于数据库读取效率问题 [打印本页]

作者: shiyiming 时间: 2007-9-8 17:23
标题: 关于数据库读取效率问题
SAS改进了模块，速度已经比较快了。
有个关于数据库的问题想请教下计算机类的同志

在sas读取写入数据库方面，以效率最高为衡量，以下那种方式更快：

1。
建立足够多的空观测数据库，之后在有新值的时候将新值赋值到有观测但观测值没有的观测中

分析：1）这样预置数据库刚开始就会比较大，在sas读取数据库的时候会不会影响效率。而且在打开的运行方面，进行查询等操作时，对大文件会不会慢些。2）按道理说，打开数据库后直接赋值到观测上面，这个速度会不会快些。

2。

建立库结构，之后在有新值的时候新建观测，之后赋值。

分析：1）这样这样预置数据库刚开始会比较小，打开速度肯定会快些。
2）但是，要新增观测，然后再赋值，这样会不会慢些。

TIA

作者: shiyiming 时间: 2007-9-8 17:28
标题: Re: 关于数据库读取效率问题
如果说我的理解没错的话，那以下方法是不是能达到最佳效率：

预置数据库设置一个工作周期的空观测（比如说一天的观测量），这样可以使预置的数据库不会太大，更新数据时的速度也会变快。

做分析时加入非空观测判断即可避免分析空值数据。

作者: shiyiming 时间: 2007-9-14 18:22
标题: Re: 关于数据库读取效率问题
no answer????

作者: shiyiming 时间: 2009-3-16 19:53
标题: Re: 关于数据库读取效率问题
回答以下3年前的问题~~~
<img src="{SMILIES_PATH}/icon_razz.gif" alt=":P" title="Razz" /> <img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" />
~~
相信superkuhasu已经解决。。。
使用update和insert 的效率根据数据库不同而不同。比如sybase的update 就很发达，而multi join就很弱，而oracle 则相反。。
如果数据是rotation的，也就是历史数据不需要保存，那么可以使用partition+rotation..
这样效率最高。。跟您说的那个解决翻案相似，但是属于数据库的标准解决方案。。
比如银行每天的交易数据就经常使用这种方法。。(当然不是DW,只是运营系统)

否做的话，应该使用insert , 根proc append一样的作用~~~
以上仅仅为个人经验，仅供参考~~

作者: shiyiming 时间: 2009-3-16 22:35
标题: Re: 关于数据库读取效率问题
太好了，谢谢！
现在我这里采用的是数据库的一个解决方案，速度还是比较快的 <img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" />

作者: shiyiming 时间: 2009-3-17 14:16
标题: Re: 关于数据库读取效率问题
千万保告诉我用SAS(接口)+Raid0+1, cluster+virtual machine+partition+rotation~~~
那人就疯了~~~

作者: shiyiming 时间: 2009-3-18 14:54
标题: Re: 关于数据库读取效率问题
o,实际上比那个还快些。。。

作者: shiyiming 时间: 2009-3-19 15:55
标题: Re: 关于数据库读取效率问题
非常想知道究竟怎么解决的，terradata的方案？

作者: shiyiming 时间: 2009-3-21 15:00
标题: Re: 关于数据库读取效率问题
200M/s的SSD。。。

作者: shiyiming 时间: 2009-3-22 12:36
标题: Re: 关于数据库读取效率问题
好办法，，除了写的速度太慢~~~
不过大多数时候对写的要求没有那么高~~~
<img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" /> ，，我原来以为只是网络服务部分才大量使用SSD..

欢迎光临 SAS中文论坛 (https://mysas.net/forum/)