gfarm-discuss-ja Mailing List for Gfarm File System

Brought to you by: n-soda, tanisuke, tatebe

gfarm-discuss-ja — Gfarmに関するユーザ、開発者との議論の場です

You can subscribe to this list here.

2016	_Jan (2)	_Feb	_Mar	_Apr	_May	_Jun	_Jul	_Aug	_Sep	_Oct	_Nov	_Dec
2019	_Jan	_Feb	_Mar (2)	_Apr (1)	_May (3)	_Jun	_Jul	_Aug	_Sep	_Oct	_Nov	_Dec

Re: [Gfarm-discuss-ja] Gfarm/バーストバッファについて

From: Kazuyuki I. <kaz...@or...> - 2019-05-30 03:05:00

建部 様、

早速、ご連絡を頂きありがとうございます。

ご丁寧に手順を教えて頂きありがとうございます。早速、試してみたいと思います。
また、原稿の方も確認させて頂きます。

伊藤 一幸
日本オラクル株式会社


On 2019/05/30 1:39, Osamu Tatebe wrote:
> 伊藤さま
>
> ドキュメントはただいま準備中ですが、Gfarm/BBの
> 設定はバッチキューイングシステムや並列プロセス
> の起動方法により変わってきます。
>
> sshでloginできる場合は、以下のようなスクリプト
> になります。
>
> TMPDIRはノードローカルストレージのパス、MDIRは
> マウントパスです。HOSTLISTはホストリストのファ
> イルを指定してください。
>
> [Requirement]
> * Gfarm 2.7.4 or later
>
> [Gfarm setup script]
> TMPDIR=/scratch/gfarm
> MDIR=/tmp/gfarm
> HOSTLIST=...
>
> alias prun="gfarm-prun -a -p -h $HOSTLIST"
> alias pcp="gfarm-pcp -p -h $NODELIST"
>
> prun mkdir -p $TMPDIR/etc
> config-gfarm --prefix $TMPDIR -S -A $USER -b none
> cp -p $TMPDIR/etc/gfarm2.conf $HOME/.gfarm2rc
> pcp $TMPDIR/etc/gfarm2.conf $TMPDIR/etc/gfsd.conf $TMPDIR/etc/usermap $TMPDIR/etc
> prun config-gfsd --prefix $TMPDIR -S
> prun mount.gfarm2fs $TMPDIR/etc/gfarm2.conf $MDIR
>
> [unmount]
> prun umount.gfarm2fs
> prun $TMPDIR/etc/unconfig-gfsd.sh -f
> $TMPDIR/etc/unconfig-gfarm.sh -f
> prun rm -rf $TMPDIR
> rm -f $HOME/.gfarm2rc
>
> 詳細については、以下の原稿をご覧ください。
>
> https://urldefense.proofpoint.com/v2/url?u=http-3A__id.nii.ac.jp_1001_00183469_&d=DwICJg&c=RoP1YumCXCgaWHvlZYR8PZh8Bv7qIrMUB65eapI_JnE&r=esW0_JTtYKwCe-eO-cnOGh35sR0sieRjuBt5LS7oWMI&m=WkmBE_ZS7XE-nehiOAXZ3WrQPVDOXh642BrRbiirVqE&s=HaixJBdZCR7sq-Fx8TffUTU7ryvc8Lk_pxnF1wEmizc&e=
>
> 以上、よろしくお願いします。
>
> 建部＠筑波大
>
> On Wed, 29 May 2019 15:21:37 +0900
> Kazuyuki Ito <kaz...@or...> wrote:
>
>> 日本オラクルの伊藤と申します。
>> 初めて投稿させて頂きます。
>>
>> Gfarm の評価を考えており、資料など確認させて頂いております。
>> 以下資料の 11 ページに記載されている Gfarm/バーストバッファ 機能を試したいと
>> 思っているのですが、設定方法などが記載されているドキュメントなどございますでしょうか？
>>
>> https://urldefense.proofpoint.com/v2/url?u=http-3A__oss-2Dtsukuba.org_wp-2Dcontent_uploads_2018_01_Tatebe-2DGfarm-2Doverview.pdf&d=DwICJg&c=RoP1YumCXCgaWHvlZYR8PZh8Bv7qIrMUB65eapI_JnE&r=esW0_JTtYKwCe-eO-cnOGh35sR0sieRjuBt5LS7oWMI&m=WkmBE_ZS7XE-nehiOAXZ3WrQPVDOXh642BrRbiirVqE&s=mYVYmS29MOSWhjhFv4JAr1aJACIX3waAkpLEJ63W-9M&e=
>>
>> よろしくお願い申し上げます。
>>
>> 伊藤 一幸
>> 日本オラクル株式会社

Re: [Gfarm-discuss-ja] Gfarm/バーストバッファについて

From: Osamu T. <ta...@cs...> - 2019-05-29 16:55:12

伊藤さま

ドキュメントはただいま準備中ですが、Gfarm/BBの
設定はバッチキューイングシステムや並列プロセス
の起動方法により変わってきます。

sshでloginできる場合は、以下のようなスクリプト
になります。

TMPDIRはノードローカルストレージのパス、MDIRは
マウントパスです。HOSTLISTはホストリストのファ
イルを指定してください。

[Requirement]
* Gfarm 2.7.4 or later

[Gfarm setup script]
TMPDIR=/scratch/gfarm
MDIR=/tmp/gfarm
HOSTLIST=...

alias prun="gfarm-prun -a -p -h $HOSTLIST"
alias pcp="gfarm-pcp -p -h $NODELIST"

prun mkdir -p $TMPDIR/etc
config-gfarm --prefix $TMPDIR -S -A $USER -b none
cp -p $TMPDIR/etc/gfarm2.conf $HOME/.gfarm2rc
pcp $TMPDIR/etc/gfarm2.conf $TMPDIR/etc/gfsd.conf $TMPDIR/etc/usermap $TMPDIR/etc
prun config-gfsd --prefix $TMPDIR -S
prun mount.gfarm2fs $TMPDIR/etc/gfarm2.conf $MDIR

[unmount]
prun umount.gfarm2fs
prun $TMPDIR/etc/unconfig-gfsd.sh -f
$TMPDIR/etc/unconfig-gfarm.sh -f
prun rm -rf $TMPDIR
rm -f $HOME/.gfarm2rc

詳細については、以下の原稿をご覧ください。

http://id.nii.ac.jp/1001/00183469/

以上、よろしくお願いします。

建部＠筑波大

On Wed, 29 May 2019 15:21:37 +0900
Kazuyuki Ito <kaz...@or...> wrote:

> 日本オラクルの伊藤と申します。
> 初めて投稿させて頂きます。
> 
> Gfarm の評価を考えており、資料など確認させて頂いております。
> 以下資料の 11 ページに記載されている Gfarm/バーストバッファ 機能を試したいと
> 思っているのですが、設定方法などが記載されているドキュメントなどございますでしょうか？
> 
> http://oss-tsukuba.org/wp-content/uploads/2018/01/Tatebe-Gfarm-overview.pdf
> 
> よろしくお願い申し上げます。
> 
> 伊藤 一幸
> 日本オラクル株式会社

-- 
Osamu Tatebe <ta...@cs...>

[Gfarm-discuss-ja] Gfarm/バーストバッファについて

From: Kazuyuki I. <kaz...@or...> - 2019-05-29 15:22:50

日本オラクルの伊藤と申します。
初めて投稿させて頂きます。

Gfarm の評価を考えており、資料など確認させて頂いております。
以下資料の 11 ページに記載されている Gfarm/バーストバッファ 機能を試したいと
思っているのですが、設定方法などが記載されているドキュメントなどございますでしょうか？

http://oss-tsukuba.org/wp-content/uploads/2018/01/Tatebe-Gfarm-overview.pdf

よろしくお願い申し上げます。

伊藤 一幸
日本オラクル株式会社

Re: [Gfarm-discuss-ja] githubへの作業用コピーの配置について確認

From: Osamu T. <ta...@cs...> - 2019-04-01 08:33:50

神林さん

suggestionありがとうございます。
copyrightの問題はありません。

ticketの移行ができないため移行できないで
いましたが、そろそろ潮時かもしれませんね。

対応を検討します。

建部

From: Ryo Kanbayashi <ryo...@gm...>
Subject: Re: [Gfarm-discuss-ja] githubへの作業用コピーの配置について確認
Date: Wed, 27 Mar 2019 06:10:29 +0900

> 神林です。
> すみません。肝心のgithubリポジトリのURLを書くのを忘れていました。
> 以下になります。
> 
> https://github.com/ryogrid/gfarm_svn_repo_partial_snapshot_190327
> <https://github.com/ryogrid/gfarm_svn_repo_partial_snapshot_190327/tree/master>
> 
> 2019年3月27日(水) 6:07 Ryo Kanbayashi <ryo...@gm...>:
> 
>> 初めて投稿させていただきます。
>> 神林と申します。
>> 趣味で分散システムのことを調べたりしているものです。
>>
>> 勝手ながら、Source ForgeのWebサイトのコードビューワが見にくくてつらかったので、svnの作業コピーを
>> gitリポジトリ化してgithubに置かせていただきました。
>>
>> ライセンス上の問題等あればご指摘お願いいたします。
>>
>> なお、
>>
>> $ svn checkout https://svn.code.sf.net/p/gfarm/code/ gfarm-code
>>
>> が途中でコケたので、全てのコードは含めることができていません。
>>
>> また、できれば修正履歴も含めたいと思い、
>>
>> http://dqn.sakusakutto.jp/2012/09/git-svn_clone--prefix_svn.html
>> を参考に、まるっと gitリポジトリ化して上げようかと思いったのですが、こちらもコケたのであきらめました。
>>
>> 最後に、個人的な意見としては、今となってはですが、コードは github
>> でホストした方が圧倒的にアクセシビリティ（？）が高いと思うので、特別な事情であるとか、しがらみであるとかが無いのであれば、githubに移行された方が良いかな、と思いました。
>>
>> 以上、よろしくお願いいたします。
>>
>> 神林
>>
>>
>>

Re: [Gfarm-discuss-ja] githubへの作業用コピーの配置について確認

From: Ryo K. <ryo...@gm...> - 2019-03-26 21:10:50

神林です。
すみません。肝心のgithubリポジトリのURLを書くのを忘れていました。
以下になります。

https://github.com/ryogrid/gfarm_svn_repo_partial_snapshot_190327
<https://github.com/ryogrid/gfarm_svn_repo_partial_snapshot_190327/tree/master>

2019年3月27日(水) 6:07 Ryo Kanbayashi <ryo...@gm...>:

> 初めて投稿させていただきます。
> 神林と申します。
> 趣味で分散システムのことを調べたりしているものです。
>
> 勝手ながら、Source ForgeのWebサイトのコードビューワが見にくくてつらかったので、svnの作業コピーを
> gitリポジトリ化してgithubに置かせていただきました。
>
> ライセンス上の問題等あればご指摘お願いいたします。
>
> なお、
>
> $ svn checkout https://svn.code.sf.net/p/gfarm/code/ gfarm-code
>
> が途中でコケたので、全てのコードは含めることができていません。
>
> また、できれば修正履歴も含めたいと思い、
>
> http://dqn.sakusakutto.jp/2012/09/git-svn_clone--prefix_svn.html
> を参考に、まるっと gitリポジトリ化して上げようかと思いったのですが、こちらもコケたのであきらめました。
>
> 最後に、個人的な意見としては、今となってはですが、コードは github
> でホストした方が圧倒的にアクセシビリティ（？）が高いと思うので、特別な事情であるとか、しがらみであるとかが無いのであれば、githubに移行された方が良いかな、と思いました。
>
> 以上、よろしくお願いいたします。
>
> 神林
>
>
>

[Gfarm-discuss-ja] githubへの作業用コピーの配置について確認

From: Ryo K. <ryo...@gm...> - 2019-03-26 21:08:12

初めて投稿させていただきます。
神林と申します。
趣味で分散システムのことを調べたりしているものです。

勝手ながら、Source ForgeのWebサイトのコードビューワが見にくくてつらかったので、svnの作業コピーを
gitリポジトリ化してgithubに置かせていただきました。

ライセンス上の問題等あればご指摘お願いいたします。

なお、

$ svn checkout https://svn.code.sf.net/p/gfarm/code/ gfarm-code

が途中でコケたので、全てのコードは含めることができていません。

また、できれば修正履歴も含めたいと思い、

http://dqn.sakusakutto.jp/2012/09/git-svn_clone--prefix_svn.html
を参考に、まるっと gitリポジトリ化して上げようかと思いったのですが、こちらもコケたのであきらめました。

最後に、個人的な意見としては、今となってはですが、コードは github
でホストした方が圧倒的にアクセシビリティ（？）が高いと思うので、特別な事情であるとか、しがらみであるとかが無いのであれば、githubに移行された方が良いかな、と思いました。

以上、よろしくお願いいたします。

神林

Re: [Gfarm-discuss-ja] gfmdの強制終了

From: Noriyuki S. <so...@sr...> - 2016-01-15 11:40:36

>>>>> On Thu, 14 Jan 2016 16:57:58 +0900,
      Kazuya MURANAGA <mur...@ni...> said:

> 1 年以上、非常に安定して動作しておりましたが、
> 本日、以下のエラーを出力して gfmd が強制終了してしまいました。

本件ですが、村永様、情報通信研究機構様に、多大な御協力をいただいた
結果、解決しました。ありがとうございました。

未使用の（これまでの最大値を越える） inode 番号で quota 制限に抵触した
場合に、gfmd がクラッシュするという問題でした。
最新の開発リポジトリからソースを取得して利用するか、近日中に行なわれる
次期リリースを利用すれば解決します。

対応するチケットは以下の通りです。
https://sourceforge.net/p/gfarm/tickets/936/
-- 
(株)SRA 中部事業部	曽田哲之 (SODA Noriyuki) <so...@sr...>

[Gfarm-discuss-ja] gfmdの強制終了

From: Kazuya M. <mur...@ni...> - 2016-01-14 08:14:13

NICTの村永です。
いつも大変お世話になっております。

1 年以上、非常に安定して動作しておりましたが、
本日、以下のエラーを出力して gfmd が強制終了してしまいました。

----
<warning> [1003705] make_replicas_except:
275540019:1:s-...@se...: replication failed: disk
quota exceeded
<err> [1000427] pgsql_inode_nlink_modify: UPDATE INode SET nlink = $2
WHERE inumber = $1: no such object
<err> [1003180] db_journal_store_thread : seqnum=13686307183
ope=INODE_NLINK_MODIFY : no such object
<err> [1003188] failed to store to db : no such object
<err> [1003397] gfmd is shutting down for unrecoverable error
<info> [1003405] backtrace symbols [1/6]:
/usr/local/lib/libgfarm.so.1(gfarm_log_backtrace_symbols+0x1f)
[0x7f940821c88f]
<info> [1003405] backtrace symbols [2/6]:
/usr/local/lib/libgfarm.so.1(gfarm_log_fatal_action+0x35) [0x7f940821f855]
<info> [1003405] backtrace symbols [3/6]:
/usr/local/lib/libgfarm.so.1(gflog_fatal_message+0x83) [0x7f940821fab3]
<info> [1003405] backtrace symbols [4/6]:
/usr/local/sbin/gfmd(db_journal_store_thread+0x25d) [0x45cfad]
<info> [1003405] backtrace symbols [5/6]: /lib64/libpthread.so.0()
[0x3238c079d1]
<info> [1003405] backtrace symbols [6/6]: /lib64/libc.so.6(clone+0x6d)
[0x32388e88fd]
----

ただ gfmd を restart しただけではメタデータがメモリに
のり始める前に同じメッセージを出力してダウンします。

journal ファイルを別名にリネームして gfmd を restart
しましたが、メタデータがメモリにのったあとで、やはり
ダウンしました。

原因などお分かりになりますでしょうか。

なお、Gfarm のバージョンなどは以下の通りです。
CentOS 6.6
gfarm-2.5.8.12
metadb_journal_max_size 2147483647
metadb_journal_recvq_size 2000000

メタサーバ上ファイル数は 5.8 億ファイルほどあります。

どうぞよろしくお願い致します。

以上です

-- 
--------------------------------------------------
村永和哉
国立研究開発法人 情報通信研究機構
統合データシステム研究開発室

〒184-8795　東京都小金井市貫井北町4-2-1
TEL: 042-327-5737(PHS)
E-mail: mur...@ni... (NICT)

======================================================================
この電子メールの内容および添付されている情報は、機密情報であると同時に、
宛先として意図した特定の受信者のみに送信いたしております。当方の誤送信
等により、心当たりのない方が受信された場合は、大変お手数ですが、受信さ
れましたメール内容は削除していただきますようお願いいたします。
======================================================================

Flat | Threaded

2016	Jan (2)	Feb	Mar	Apr	May	Jun	Jul	Aug	Sep	Oct	Nov	Dec
2019	Jan	Feb	Mar (2)	Apr (1)	May (3)	Jun	Jul	Aug	Sep	Oct	Nov	Dec