`
须等待
  • 浏览: 210943 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论
文章列表
    读完了《Java并发编程实践》这本书以后,以为对一般的线程安全问题有一个大概的理解,但是今天遇到的这个问题着实非常神奇,在书中也没有被提到过,这里特别记录下来。   public class Test { public void test1(O o) throws Exception { System.out.println("begin o:" + o.getId() + " " + o.getName()); if (o.getId() == 1) { Threa ...
    上一篇我们介绍了对Hbase中数据的一些高级的操作,至此,我们可以很好的管理和操作Hbase的数据了,这一篇将主要介绍Hbase提供的管理(Administrative)模块,可以让我们完成类似RDBMS中的DDL操作,即,表定义、管理表结构、管理集群状态等。下面介绍的API都出自HBaseAdmin对象。一、表定义     在Hbase的API中,代表一个表结构的类叫HTableDescriptor。   HTableDescriptor(String name) HTableDescriptor(byte[] name)       一个Hbase的表有许多的关键性的属性 ...

Hive 常用命令小记

    博客分类:
  • Hive
hadoop job  -Dmapred.job.tracker=master:9001 -kill job_201210301532_0351 命令可以把已经提交的mapred任务干掉,kill后面的参数可以在web管理界面上查到   LOAD DATA LOCAL INPATH '/usr/local/hive-0.7.1/bin/go.log' OVERWRITE INTO TABLE hive_game_login_tmp_test; 从本地路径加载数据   INSERT OVERWRITE TABLE hive_game_login partition(gameid=00004 ...
    上一篇介绍了Hbase在操作数据中的基本的API,包括增删查。增删都是相对简单的操作,与传统的RDBMS相比,这里的查询操作略显苍白,只能根据特定的主键查询(Get)或者根据主键的一个范围来查询(Scan)。Hbase提供了更加高级的过滤器来查询,当然还有另外一些高级的模块,我们将在这一篇里看到。 一、过滤器(Filter)     基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤,基于Hbase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可 ...
一、环境   在Hadoop上快速搭建Hbase环境非常简单,下载软件包解压以后写好配置文件就可以直接运行了,不多作叙述。   二、基础客户端API 1、Bytes类     Hbase中所有的值都是以字节数组的形式存在的,所以在使用客户端API和Hbase交互的过程中难免会经常的要操作字节数组,这里Hbase提供了一个工具类,Bytes类。其中有很多的静态方法可以方便的将各种类型的值转换成字节数组,同时也可以将字节数组转换成对应的类型。   2、KeyValue类     KeyValue提供了一个Hbase中键值对的抽象,我们都知道Hbase是面向列的数据库,其中的数据是以键 ...
项目中要用到定时调度的功能,使用的是quartz,使用中遇到了一些问题,特地记下来。 一、quartz概述 quartz是一个任务定时调度的框架,支持定时的调用特定的方法,支持与Spring的整合。 二、配置步骤 quartz与Spring整合,需要 ...
1、 首先调用Socket类的构造函数,以服务器的指定的IP地址或指定的主机名和指定的端口号为参数,创建一个Socket流,在创建Socket流的过程中包含了向服务器请求建立通讯连接的过程实现。  2、 建立了客户端通讯Socket后。就可以使用Socket的方法getInputStream()和getOutputStream()来创建输入/输出流。这样,使用Socket类后,网络输入输出也转化为使用流对象的过程。  3、 使用输入输出流对象的相应方法读写字节流数据,因为流连接着通讯所用的Socket,Socket又是和服务器端建立连接的一个端点,因此数据将通过连接从服务器得到或发向服务器。 ...
分布式文件系统提供像访问本地文件那样访问远程文件的文件访问服务, 即允许用户使用网络结点中的文件。   特点: 用户像访问本地文件一样的访问网络文件,或者说用户的文件访问服务由分布式文件服务器来提供,文件的存储细节被隐藏,而用户的存储请求可以突破本地存储的限制。 分布式文件系统提供存储、管理、访问控制等服务。   体系结构:   由三个组件构成: 平面文件服务、 目录服务、 客户端   平面文件服务实现对文件数据的操作,由唯一文件标识符(UFID)来唯一标示一个文件。 目录服务提供文件名字到UFID的隐射, 提供文件直观的管理。 客户端运行在客户节点上, 是操作管理分布式 ...
Global site tag (gtag.js) - Google Analytics