招聘信息

shiyiming

职位：分析师
待遇：第一年基本工资人民币300,000
职位要求：
1、擅长数据处理、建模，会使用相关计算机工具
2、大量数据处理经验
2、本科及以上学历
3、学科、行业背景不限，优先考虑相关专业
说明：
1、学校、学历、行业背景、工作时间和跳槽频率只作为参考，简历中
请重点对学术方面的成就，相关工作经验，包括参与的项目经验，以及
你所希望发展的方向进行说明。也欢迎提供相关补充资料。
2、工作地点：天津市区
3、因为要求严格，所以本职位长期有效，直至找到合适人选。

有意者请将中英文简历发给我，kuhasu(AT)126.com，邮件主题为：应聘分析师+姓名,当然你也可以先不透露姓名。
由于我的时间有限，所以不可能对所有应聘信件进行回复，恳请谅解。

请应聘者将以下两个问题的回答随简历一同发送：
1、如何处理超过一千万的变量的数据集来进行模型的建立？
2、假定目标变量按理论最优进行标示，然而理论最优实际不可能达到，你如何选择一个次优的目标变量标示方案？

Good Luck! <!-- s:D --><img src="{SMILIES_PATH}/icon_biggrin.gif" alt=":D" title="Very Happy" /><!-- s:D -->

shiyiming

&quot;如何处理超过一千万的变量的数据集来进行模型的建立？&quot;

超过一千万的变量？ 还是观测？  还真没有见过超过一千万变量的数据，楼主什么行业的？

shiyiming

应该是观测吧,一千万的变量,太离谱了,什么数据库搞得定?

shiyiming

原表述无误。

shiyiming

第一个问题貌似只能将变量名俺规律存储在一个数据集中，然后用call execute的方法逐一进行循环调用和控制。
第二个问题没弄明白楼主想说什么

shiyiming

以下仅是个人观点，仅供参考。说错的地方希望大家多多指正。
问题一：几千个变量的数据处理工作。
数据处理的方法跟模型一样，都要有一定的亲爱前提条件和要求限制；
就说几千个变量，那范围感觉有点大，因为不知道后面到底是要对数据做什么样操作。
如果只是用到其中几个变量的话，那么keep就可以了。如果相当多的变量都要用上，那就建立索性和考虑按照变量分表。
所以楼主的问题最好还是具体化一点，因为有好多处理方法来处理数据，就要看你的要求，才能对症下药。
还有硬件部分、程序部分对于大数据量处理的效率也是相当重要的。

问题二：次优。
不能实现最优，那么就需要和客户进行沟通。
如果客户接受次优，那么就让客户的业务知识给出次优的目标。
如果客户没能力给出，那么只有靠自己的业务理解，来去考虑目标。
可以用专业的知识缩减指标，或者用统计方法来缩减指标等等。。。。
总之也是一个大概念。

以上是我的一些观点，说错的地方请大家不要嘲笑，因为毕竟自己基础很差。

shiyiming

to byes
有兴趣请进行应聘。两个问题是属于笔试题目。 <!-- s:) --><img src="{SMILIES_PATH}/icon_smile.gif" alt=":)" title="Smile" /><!-- s:) -->

shiyiming

我想研究一下题目。不知道可否发给我。如果可以的话，就把题目消息给我。
谢谢。

shiyiming

如果输入很稀疏的话，第一个应该可以解决，当然也要看具体问题。10M变量，根据问题的不同，可能会有10M, 100M, 1G或者更多的参数，如果问题的性质决定了参数个数不超过内存容量的话，第一个问题好像不算什么难的问题吧。

第二个问题不是很清楚。是说求解目标函数的复杂度太高时，如何解决该优化问题吗？