原文地址: http://nourlcn.ownlinux.net/2011/10/diary-practice-second-day.html
本博客订阅地址:http://feeds.feedburner.com/nourlcn
本该昨天晚上总结的.
但昨天下班后赶紧回去收拾一下,今天坐了12个小时的龟速大巴才到家,现在补上吧.
实习第二天,上午对第一天的工作进行了融合,写了一个shell脚本将数据抓取、导入Hive、MapReduce处理、导入Mysql等步骤进行自动处理.
中间因为不熟悉Hive的查询、join用法等花费了一些时间.
中午吃饭时,看见开复童鞋进来貌似拿了个包子回办公室了,哈哈~
下午写了个py文件,生成指定格式的测试log file,预期目标是生成300G的文件在hadoop集群上测试,考虑到实际的数据量可能不需要这么大,先设置i循环为5亿,生成50G的big file.
因为我使用shell远程链接服务器进行开发,shell session过期后程序可能会中断,因此学了一下daemon进程的编写,下班前将py程序改成daemon进程执行.
再一次感慨,实习所接触的东西比较实在,比在实验室强多了.
分享到:
相关推荐
DSP技术及应用实习-离散余弦变换(DCT)算法。
同步二进制计数器小论文同步二进制计数器小论文
操作系统实验 线程的同步 深入理解线程与进程的概念,在Windows环境下何时使用进程,何时使用线程?
实验二 线程与同步 henxiangxi nachos的实验报告
第二单元同步课件
实习项目交流同步电动机特性实验.doc
电动汽车同步器挂挡二次冲击分析.pdf
实习项目交流同步电动机特性实验.docx
2022届高中化学新教材同步必修第二册 第六章 第二节 第1课时 化学反应的速率.pdf
二. 实验目的 进程是程序在一个数据集合上运行的过程。进程是并发执行的,也即系统中的多个进程轮流的占用处理器运行。 我们把若干个进程都能进行访问和修改的那些变量称为公共变量。由于进程是并发执行的,所以,...
微积分(二)同步练习答案是同济大学第六版,里面有向量等内容
用高级复制实现主文件同步方案(第二版).pdf
火线100天云南省2016中考英语教材同步复习第二十课时九年级Units11_12
本电路实现了同步三十二进制加法计数器的功能: 电路能准确地按照三十二进制加法计数的规律进行计数. 读者应深刻理解本例的分析和设计过程, 以为日后设计更为复杂的同步时序逻辑电路打下基础.
火线100天安徽专版2016中考英语总复习教程同步篇第二课时七上Units5_9
传统线程同步通信技术二传统线程同步通信技术二
必修1高一化学同步测试第二章第三节氧化还原反应.pdf
nachos实验二线程与同步,说明文档,不是实验报告
简要介绍了二进制同步通信规程,数据链路控制规程,数据链路层的概念以及分类,功能等,重点介绍了二进制同步通信规程,即BSC的相关概念
火线100天安徽专版2016中考英语总复习教程同步篇第二十课时九年级Units11_12