我迄今为止写的最长的SQL

 

 今天看我14年实习的时候，当时我的导师在博客中写到了一段差不多50多行的sql，说是他写的最长的sql，
想想工作的这一年，其实我也写了不少sql，因为自身是做数据开发方面的工作，写sql是免不了的，哈哈~
  今天刚好是五一假后上班的第一天，也不想干什么事，就写写博客吧，好久没有记录啦。好，言归正传，
就说sql吧， 去年我们数据组要把之前的从mysql中的提取基础数据的工作给做到hive里面去，因为我是做
基础数据这块的，所以就开始做这个。从hive中抽取30多张最基础的表，然后通过各种join提取一些基础
字段，这个sql总共380多行。。。当然我还是中间用了union all，要是算上中间的shell脚本的话，差不多就是1000多行的一个小脚本啦。
    那这么长的sql好处有那些呢：减少了中间表的输出；
    不好的地方实在是太多了：一个就是不好测试，需要你对业务很熟

 悉；第二个就是效率不见得高；
如果sql基础不是很好的话，就不要尝试去做了，很费劲。

评论

1 楼 u010815305 2016-05-03  

多说一句，这个差不多1000多万行的数据，在hive上处理时间差不多40多分钟