https://sourceforge.net/p/hadoopcache/wiki/Description/Recent changes to DescriptionenFri, 10 Jan 2014 11:46:09 -0000https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v23 +++ v24 @@ -14,7 +14,7 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - * ![alternate text](https://imagizer.imageshack.us/v2/944x429q90/836/tnqs.jpg "overall architecture" 50x100) + * ![alternate text](https://imagizer.imageshack.us/v2/944x429q90/836/tnqs.jpg "overall architecture" 50x50) </pre> </div>Minyoung SungFri, 10 Jan 2014 11:46:09 -0000https://sourceforge.net13a98cc1e1d66b8947a99b6e39d1138e72a19e9dhttps://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v22 +++ v23 @@ -14,7 +14,7 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - * ![alternate text](https://imagizer.imageshack.us/v2/944x429q90/836/tnqs.jpg "overall architecture" 100x200) + * ![alternate text](https://imagizer.imageshack.us/v2/944x429q90/836/tnqs.jpg "overall architecture" 50x100) </pre> </div>Minyoung SungFri, 10 Jan 2014 11:32:04 -0000https://sourceforge.net9bd87ebce22d12690ad9502566940d92692e06b9https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v21 +++ v22 @@ -14,9 +14,9 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - *  - - + * ![alternate text](https://imagizer.imageshack.us/v2/944x429q90/836/tnqs.jpg "overall architecture" 100x200) + + * 다음 그림은 HadoopCache의 전체 구조 및 동작 순서를 나타낸다. 회색으로 칠해진 부분은 데이터를 나타내고, 하늘색으로 칠해진 부분은 HadoopCache의 구성요소를 나타낸다. 또한 점선은 제어 메시지와 관련된 흐름이고, 실선은 데이터의 전송과 관련된 흐름을 나타낸다. 전체 동작 순서는 HadoopCache가 map worker가 요청한 데이터를 갖고 있는 경우와 그렇지 않은 경우로 나뉘게 되며, 먼저 요청한 데이터가 없는 경우의 동작 순서부터 설명하도록 한다. 각 동작 별 설명은 아래와 같다. </pre> </div>Minyoung SungFri, 10 Jan 2014 11:31:23 -0000https://sourceforge.net208322d369bbfc172420ec02f1a089792d50ac41https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v20 +++ v21 @@ -59,7 +59,7 @@ * Map task가 데이터를 읽을 때 Cache-server와 map task는 서로 통신을 하지 않도록 설계되었는데 이는 추가적인 스레드의 생성을 피함으로써 노드의 자원을 최대한 아끼기 위함이다. 따라서 현재 Cache-server는 얼마만큼의 데이터를 읽었는지를 캐시 파일을 통해 map task에게 알려주게 된다. 이를 지원하기 위한 캐시 파일의 헤더 구조는 다음과 같다. - *  + *  * 가장 앞의 Header Size는 Data부분을 제외한 헤더의 크기를 나타내고, Offset은 원래 파일에서 현재 캐시가 담고 있는 데이터의 위치가 어디인지를 나타낸다. Size는 현재 캐시 파일의 Data 부분의 사이즈를 나타내며, 전체 캐시 파일의 크기는 “Header Size + Size”가 된다. Valid Size는 Data 부분에 쓰여진 실제 데이터의 크기를 나타내고, File Path는 원격 파일시스템에서의 파일의 경로를 의미한다. </pre> </div>Minyoung SungFri, 10 Jan 2014 11:25:57 -0000https://sourceforge.net6eb55b0ea42070916e6914d0f794c8ed2fbfef24https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v19 +++ v20 @@ -14,7 +14,7 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - *  + *  </pre> </div>Minyoung SungFri, 10 Jan 2014 11:23:39 -0000https://sourceforge.net4944ffc778c13b34c290f4cff46a0af1dbfd0109https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v18 +++ v19 @@ -14,7 +14,7 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - *  + *  </pre> </div>Minyoung SungFri, 10 Jan 2014 11:16:38 -0000https://sourceforge.net672b618bfc80446518aaac8e6bb15e5e9e91852ehttps://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v17 +++ v18 @@ -59,7 +59,7 @@ * Map task가 데이터를 읽을 때 Cache-server와 map task는 서로 통신을 하지 않도록 설계되었는데 이는 추가적인 스레드의 생성을 피함으로써 노드의 자원을 최대한 아끼기 위함이다. 따라서 현재 Cache-server는 얼마만큼의 데이터를 읽었는지를 캐시 파일을 통해 map task에게 알려주게 된다. 이를 지원하기 위한 캐시 파일의 헤더 구조는 다음과 같다. - *  + *  * 가장 앞의 Header Size는 Data부분을 제외한 헤더의 크기를 나타내고, Offset은 원래 파일에서 현재 캐시가 담고 있는 데이터의 위치가 어디인지를 나타낸다. Size는 현재 캐시 파일의 Data 부분의 사이즈를 나타내며, 전체 캐시 파일의 크기는 “Header Size + Size”가 된다. Valid Size는 Data 부분에 쓰여진 실제 데이터의 크기를 나타내고, File Path는 원격 파일시스템에서의 파일의 경로를 의미한다. </pre> </div>Minyoung SungFri, 10 Jan 2014 11:12:25 -0000https://sourceforge.net104725cd1e324354d4cb08d873841a2869d55206https://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v16 +++ v17 @@ -14,9 +14,9 @@ 5. 로컬 디스크에 저장된 캐시를 인식하여 해당 데이터가 필요한 map task를 해당 노드에 배치시키는 기능 - *  - - *  + *  + + * 다음 그림은 HadoopCache의 전체 구조 및 동작 순서를 나타낸다. 회색으로 칠해진 부분은 데이터를 나타내고, 하늘색으로 칠해진 부분은 HadoopCache의 구성요소를 나타낸다. 또한 점선은 제어 메시지와 관련된 흐름이고, 실선은 데이터의 전송과 관련된 흐름을 나타낸다. 전체 동작 순서는 HadoopCache가 map worker가 요청한 데이터를 갖고 있는 경우와 그렇지 않은 경우로 나뉘게 되며, 먼저 요청한 데이터가 없는 경우의 동작 순서부터 설명하도록 한다. 각 동작 별 설명은 아래와 같다. </pre> </div>Minyoung SungFri, 10 Jan 2014 11:10:29 -0000https://sourceforge.netd4c1848ff1ffa82879754b928a67b4b0597e877dhttps://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre></pre> </div>Minyoung SungFri, 10 Jan 2014 11:03:42 -0000https://sourceforge.net300df4672b432e5bd760e994804d799a460bd99dhttps://sourceforge.net/p/hadoopcache/wiki/Description/<div class="markdown_content"><pre>--- v14 +++ v15 @@ -15,6 +15,8 @@ *  + + *  * 다음 그림은 HadoopCache의 전체 구조 및 동작 순서를 나타낸다. 회색으로 칠해진 부분은 데이터를 나타내고, 하늘색으로 칠해진 부분은 HadoopCache의 구성요소를 나타낸다. 또한 점선은 제어 메시지와 관련된 흐름이고, 실선은 데이터의 전송과 관련된 흐름을 나타낸다. 전체 동작 순서는 HadoopCache가 map worker가 요청한 데이터를 갖고 있는 경우와 그렇지 않은 경우로 나뉘게 되며, 먼저 요청한 데이터가 없는 경우의 동작 순서부터 설명하도록 한다. 각 동작 별 설명은 아래와 같다. @@ -215,4 +217,3 @@ } ``` - </pre> </div>Minyoung SungFri, 10 Jan 2014 10:54:10 -0000https://sourceforge.net5197e3932f9cfd169457ea6d0f32202ce4982936