u010815305的博客
u010815305 · 共 61 篇文章
shell大文件分割成小文件
上周做mysql的数据同步遇到的问题记录如下: 将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load; 使用shell的split解决这个问题:split -d -l 再分别将小文件load即可
2016-06-20 11:32 · Shell · 评论(0)
hive分区表添加新字段后显示为NULL的问题
昨天在组内的一个hive分区表中添加了一个字段,然后LOAD数据的时候出现NULL的情况,但是在hdfs上明明不是NULL,经过反复排查,最后在http://blog.csdn.net/xiao_jun_0820/article/details/45560591找到解答,但是我按上面的步骤操作的时候遇到找不到SDS,所以用了另外一种方法. 由于我的分区表是外部表,所以我先删除了分区,然后在添加分区,问题解决. alter table `table_name` drop partition (`partition_column_name`="partition_value"); alter t…
2016-06-03 15:57 · hive · 评论(0)
我迄今为止写的最长的SQL
今天看我14年实习的时候,当时我的导师在博客中写到了一段差不多50多行的sql,说是他写的最长的sql, 想想工作的这一年,其实我也写了不少sql,因为自身是做数据开发方面的工作,写sql是免不了的,哈哈~ 今天刚好是五一假后上班的第一天,也不想干什么事,就写写博客吧,好久没有记录啦。好,言归正传, 就说sql吧, 去年我们数据组要把之前的从mysql中的提取基础数据的工作给做到hive里面去,因为我是做 基础数据这块的,所以就开始做这个。从hive中抽取30多张最基础的表,然后通过各种join提取一些基础 字段,这个sql总共380多行。。。当然我还是中间用了union all,要是算上中…
2016-05-03 11:38 · MySQL · 评论(1)
Linux Shell
x=1 y=2 z=$x+$y echo $z 1+2 调用变量 $变量 echo 输出 用户自定义环境变量 export 变量名=变量值 set 查看所有变量 env 查看环境变量 unset 变量名 删除变量 PATH="$PATH":/root/sh 增加path变量的直 临时实效 要想永久生效 :写入对应的文件中 PS1 echo PS1 当前操作的提示符 ls \ 换行输入 locale 查询当前系统语系 -LANG:主语系变量 -LC_ALL:整体语系变量 $n $* 看做整体 $@ 看做个体 $# $? 正确执行 0 返回值非零 $$ read [选项] [变量名] #!/bi…
2015-06-22 15:24 · Shell · 评论(0)
mysql存储过程
存储过程 预编译集合 一个单元处理 CREATE PROCEDURE sp_name routne_body 过程体由合法的SQL语句构成 过程体可以使任意SQL语句 创建没有参数的存储过程 create procedure sp1() select version() 调用: call sp1(); 创建带有参数的存储过程 create procedure removeUserById(IN pid INT UNSIGNED) begin delete from users where id = pid; end 调用:call removeUserById(3) alter proced…
2015-06-22 15:18 · MySQL · 评论(0)
highstock使用案例(异步请求,懒加载)
资源: 点击打开链接 highstock 中文官网。 jsp中导入:<script src="<c:url value="/resources/js/highstock.js"></c:url>"></script> jsp页面加入 <div id="historyChart" style="min-width:1050px;height:350px"></div> <div class="tab-pane fade" id="tab-friends"> <div class="row"> <div class="radio" id="radio"> <div class="col-md-2…
2015-04-15 17:34 · 评论(0)
mongodb 的一些常用命令。
启动mongo mongodb所在的目录D:\MongoDB\data是mongo数据的备份地点。 D:\MongoDB\Server\3.0\bin>mongod.exe --dbpath D:\MongoDB\data 创建数据库: MongoDB没有创建数据库的命令,但有类似的命令。 如:如果你想创建一个“myTest”的数据库,先运行use myTest命令,之后就做一些操作(如:db.createCollection('user')),这样就可以创建一个名叫“myTest”的数据库。 查询数据: 查询name中包含 mongo的数据 db.collection.find({name…
2015-04-15 14:03 · 评论(0)
java 读取excel,写入excel(只限于xlsx格式)
首先建立maven 工程,pom.xml的内容如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>Excel</groupId> <artifa…
2015-04-15 13:45 · java · 评论(0)
基于maven的mybatis+springmvc环境搭建以及集成bootstraps
一.maven是目前项目中比较流行的版本控制方法,整理一下maven的配置 基本的maven项目的创建过程以及创建中遇到的问题: 1. 新建maven项目(选择Maven Project) 2. 点击下一步 3. 在Filter中输入webapp(选择maven-archetype-webapp,然后Next) 4. Group Id--主项目名 5. 此时的工程项目结构并不完整,需将将其编程web项目; 本地安装tomcat6,web module需要设为2.5,本地设为jdk1.6 在这一步的默认值的需要按需求修改,在修改过程中,java设为1.6的时候,Dynamic Web Modu…
2014-11-25 19:30 · 评论(0)
数组中出现的逆序对
题目描述: 在数组中的两个数字,如果前面一个数字大于后面的数字,则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数。 输入: 每个测试案例包括两行: 第一行包含一个整数n,表示数组中的元素个数。其中1 <= n <= 10^5。 第二行包含n个整数,每个数组均为int类型。 输出: 对应每个测试案例,输出一个整数,表示数组中的逆序对的总数。 样例输入: 7 5 6 4 样例输出: 5 思路:最简单的方法是顺序数组,将每个数字与后面的比较,统计逆序对的个数,这种方法的时间复杂度为O(n*n),剑指offer给出了归并排序的思路,这个有点难想到啊,也可能是我太弱了,根本没往这…
2014-09-13 23:48 · 评论(0)
第一次只出现一次的字符
#include<stdio.h> #include<stdlib.h> #include<string.h> char firstNotRepeatingChar(char* pString) { if(pString==NULL) return '\0'; const int tablesize = 256; unsigned int hashtable[tablesize]; for(unsigned int i=0;i<tablesize;i++) { hashtable[i]=0; } char* pHashKey = pString; while(*(pHashKey)!='\0…
2014-09-10 22:23 · 评论(0)
丑数
题目:我们把只包含因子 2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。 思路: 我们可以创建一个数组,里面的数字是排好序的丑数。里面的每一个丑数是前面的丑数乘以2、3或者5得到的。 这种思路的关键在于怎样确保数组里面的丑数是排好序的。我们假设数组中已经有若干个丑数,排好序后存在数组中。 我们把现有的最大丑数记做M。现在我们来生成下一个丑数,该丑数肯定是前面某一个丑数乘以2、3或者5的结果。 我们首先考虑把已有的每个丑数乘以2。在乘以2的时候,能得到若干个结果小于或等于M…
2014-08-17 20:46 · 评论(0)
数组中组成最小的数
题目:输入一个正整数数组,将它们连接起来排成一个数,输出能排出的所有数字中最小的一个。例如输入数组{32, 321},则输出这两个能排成的最小数字32132。请给出解决问题的算法,并证明该算法。 分析:这是09年6月份百度新鲜出炉的一道面试题,从这道题我们可以看出百度对应聘者在算法方面有很高的要求。 这道题其实是希望我们能找到一个排序规则,根据这个规则排出来的数组能排成一个最小的数字。要确定排序规则,就得比较两个数字,也就是给出两个数字m和n,我们需要确定一个规则m和n哪个更大,而不是仅仅只是比较这两个数字的数值哪个更大。 根据题目的要求,两个数字m 和n排成的数字mn和nm,如果mn<nm…
2014-08-16 22:27 · 评论(0)