1. VTMarker

- Toolbar ~ 6.19

- Player ~ 6.26

2. CLOUD ~ 6.16

3. Ontopath ~ 8.26

4. Test about endocrine 6.22

한글 파일

Fully-Distributed, Site-specific Configuration

1. PC 여러 대에 동일한 linux 설치

2. Hadoop 를 설치하기 위한 기본으로 요구되는 software 설치

-Sun 으로 부터 적절한 JDK 설치 ( sun-java6-jdk 설치 )

-ssh, rsync 를 설치

ssh와 rsync 를 설치하는 이유는 hadoop 내부에서 데이터 리플리케이션에 rsync를 사용하고

slave서버와의 통신에 ssh를 사용하기 때문임

< sudo apt-get intstall 을 통해 설치 할 수 있다 >

==>> 하지만 sudo apt-get install ssh 로 ssh 로 꾸러미 관련 오류로 설치되지 않을 경우,

Synaptic Package Manager 로 Not installed 에서 ssh 를 찾아 설치 (우분투 경우)

3. Hadoop 배포판을 다운

wget http://ftp.daum.net/apache//hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz

압축을 푼 후 ./conf/hadoop-env.sh 파일 수정

9: #export JAVA_HOME=을 수정한다.

4. Hadoop cluster 3 modes

-Pseudo-Distributed 방식 : 단일노드에서 Hadoop Daemon이 분리된 Java Process로 수행되는 방식

※ 참조의 성철이의 tistory 참고

-Fully-Distributed 방식 : 여러대의 컴퓨터를 클러스터로 묶는 방식

여기서는 master, slave 로 진행.

i. Hadoop의 설정파일에는 두 종류가 있음

A. Read-only default Configuration :

src/core/core-default.xml,

src/hdfs/hdfs-default.xml,

src/mapred/mapred-default.xml.

B. Site-specific Configuration :

conf/core-site.xml

conf/hdfs-site.xml

conf/mapred-site.xml

ii. Master를 아래와 같이 세팅.

A. conf/core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://[ Master ip or domain ]:9000</value>

</property>

</configuration>

B. conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name><value>/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name><value>/hdfs/data</value>

</property>

<property>

<name>dfs.replication</name><value>2</value>

</property>

&n\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0bsp; <property>

<name>dfs.block.size</name><value>1048576</value>

</property>

</configuration>

C. conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hdfs://[ Master ip or domain ]:9001</value>

</property>

<property>

<name>mapred.system.dir</name>

<value>/hdfs/mapreduce/system</value>

</property>

<property>

<name>mapred.local.dir</name>

<value>/hdfs/mapreduce/local</value>

</property>

</configuration>

D. Conf/slaves

Master ip/domain

Slave ip/domain

E. Conf/masters

Master ip/domain

iii. 슬레이브를 아래와 같이 세팅합니다.

A. conf/core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>[ Slave ip or domain ]:9000</value>

</property>

</configuration>

B. conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/hdfs/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/hdfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.block.size</name>

<value>1048576</value>

</property>

</configuration>

C. conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker </name>

<value>hdfs://[ Slave ip&nbs\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0p;or domain ]:9001</value>

</property>

<property>

<name>mapred.system.dir</name>

<value>/hdfs/mapreduce/system</value>

</property>

<property>

<name>mapred.local.dir</name>

<value>/hdfs/mapreduce/local</value>

</property>

</configuration>

5. SSH 암호 없이 자동 로그인 종합 안내 글쓴이: foxiii 작성 일시: 수, 2007/07/25 - 3:25오후

- 상황 : 클라이언트에서 일반계정(user1)으로 서버로 암호 없이 SSH 접속을 한다.

1. 클라이언트 작업.

1) user1 계정으로 접속 한다.

2) ssh-keygen 명령으로 passphrase 에 암호를 입력하여 키를 생성한다.

ssh-keygen -t rsa<엔터>

Generating public/private rsa key pair.

Enter file in which to save the key (/home/user1/.ssh/id_rsa):<엔터>

Enter passphrase (empty for no passphrase): <암호입력>

Enter same passphrase again: <암호입력>

Your identification has been saved in /home/user1/.ssh/id_rsa.

Your public key has been saved in /home/user1/.ssh/id_rsa.pub.

The key fingerprint is:

XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX user1@localhost.localdomain

※ 암호는 입력해도 되고, 입력 없이 엔터 치시면 인증서 암호 따로 필요 없이 접근 됩니다.

3) /home/user1/.ssh 폴더의 파일을 확인 후 id_rsa.pub 파일을 다운 받는다.

합계 12

-rw------- 1 user1 user 951 7월 25 15:03 id_rsa

-rw-r--r-- 1 user1 user 238 7월 25 15:03 id_rsa.pub

-rw-r--r-- 1 user1 user 669 7월 10 11:17 known_hosts

2. 서버 작업.

1) A서버의 user1 아이디로 로그인 한다. (user1 뿐 아니라 다른 계정에서도 같은 작업을 하면, 그 계정으로 접근 됨.)

2) /home/user1/.ssh/폴더로 접근하여 아까 다운 받은 id_rsa.pub 파일을 업로드 한 후, 파일 명을 authorized_keys로 변경 시킨 후, 권한을

600으로 변경한다.

cat id_rsa.pub >> authorized_keys<엔터>

chmod 600 authorized_keys<엔터>

3. 클라이언트 확인.

6. namenode 를 format 하고 hadoop 실행 < 슬레이브에서는 수행시키면 안됨 >

- hadoop 압축을 푼 경로/bin/hadoop namenode -format

- hadoop 압축을 푼 경로/bin/start-all.sh

7. 결과 화면

- Master

13094 Jps

12460 DataNode

12075 TaskTracker

11705 NameNode

11960 JobTracker

11861 SecondaryNameNode

- Slave

6928 DataNode

7077 TaskTracker

8525 Jps

말렸다; 의료 자료 처리론...

좀 제대로 공부할걸..