Re: [Kai-users-ja] [Kai-devel-ja] consistency check by vector clocks
Kai is a distributed key-value datastore
Status: Beta
Brought to you by:
takemaru
Menu
▾
▴
Re: [Kai-users-ja] [Kai-devel-ja] consistency check by vector clocks
|
From: Tomoya H. <tom...@gm...> - 2008-11-18 05:39:03
|
橋本です。
マシンスペックは以下の通りです。
* CPU
Processor Brand : Intel(R) Xeon(R) CPU 5148 @ 2.33GHz
Processor Version : Model 15 Stepping 6
Current Speed : 2333 MHz
これが二つ。
* memory
4GB
ネットワークは1000BASE-TXです。負荷をかけたときのネットワークの使用状況はモニターできて
いないのですが、このホストが900Mbpsまで行けることは確認してます。
この状態で負荷をかけたときのvmstatです。
[t-hashi@gtp301 ~]$ ./mcb -c get -a 172.20.31.205 -p 11211 -t 50 -n
2000 -l 1024 -s -m 10000
condition =>
memcached = 172.20.31.205:11211
command = get
50 thread run
send 2000 command a thread, total 100000 command
data length = 1024
result =>
interval = 43.806301 [sec]
performance = 2282.776620 [command/sec]
thread info:
ave. = 42.160808[sec], min = 40.160611[sec], max = 43.804653[sec]
[t-hashi@gtp205 ~]$ vmstat -S m -n 2
procs -----------memory---------- ---swap-- -----io---- --system--
-----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
5 0 0 3526 18 270 0 0 13 7 122 234 0
0 100 0 0
3 0 0 3526 18 270 0 0 0 0 31016 38199 49
15 35 0 1
5 0 0 3525 18 270 0 0 0 16 31519 38553 48
15 36 0 1
4 0 0 3525 18 270 0 0 0 2 26418 32052 48
14 37 0 1
5 0 0 3525 18 270 0 0 0 0 30790 37966 47
18 35 0 1
7 0 0 3525 18 270 0 0 0 0 32458 40062 50
20 29 0 1
7 0 0 3525 18 270 0 0 0 22 33013 40854 51
19 29 0 1
5 0 0 3525 18 270 0 0 0 0 32784 40440 51
18 31 0 1
4 0 0 3525 18 270 0 0 0 6 31287 38188 50
16 33 0 1
4 0 0 3525 18 270 0 0 0 0 32566 40348 49
18 32 0 1
5 0 0 3525 18 270 0 0 0 0 32992 40846 51
16 33 0 1
5 0 0 3525 18 270 0 0 0 0 32861 40580 50
18 32 0 1
5 0 0 3525 18 270 0 0 0 0 32189 39737 46
19 34 0 1
5 0 0 3525 18 270 0 0 0 4 32994 40807 49
19 32 0 1
3 0 0 3525 18 270 0 0 0 0 33136 40862 50
17 33 0 1
3 0 0 3525 18 270 0 0 0 0 33312 41332 50
18 31 0 1
2 0 0 3525 18 270 0 0 0 12 31582 38786 48
18 34 0 1
4 0 0 3525 18 270 0 0 0 0 33237 40898 49
19 31 0 1
2 0 0 3525 18 270 0 0 0 0 33156 40825 48
18 33 0 1
6 0 0 3525 18 270 0 0 0 0 33395 40956 50
17 32 0 1
5 0 0 3525 18 270 0 0 0 6 31706 38739 53
16 30 0 1
1 0 0 3525 18 270 0 0 0 0 19777 24406 29
10 61 0 0
1 0 0 3525 18 270 0 0 0 0 735 1088 0
0 100 0 0
1 0 0 3525 18 270 0 0 0 8 721 1084 0
0 100 0 0
1 0 0 3525 18 270 0 0 0 0 730 1089 0
0 100 0 0
[t-hashi@gtp206 ~]$ vmstat -S m 2
procs -----------memory---------- ---swap-- -----io---- --system--
-----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 3533 17 263 0 0 18 9 228 373 1 0 99 0 0
0 0 0 3533 17 263 0 0 0 0 2912 4254 1 1 98 0 0
3 0 0 3533 17 263 0 0 0 0 6042 8320 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 12 5241 7352 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5564 7788 2 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5565 7708 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5427 7618 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5286 7386 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 40 5532 7714 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5391 7587 1 2 96 0 0
3 0 0 3533 17 263 0 0 0 72 4742 6587 0 2 98 0 0
3 0 0 3533 17 263 0 0 0 0 5353 7485 2 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5450 7573 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 4 5502 7693 1 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5385 7528 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 6 5459 7575 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5385 7612 1 2 96 0 0
5 0 0 3533 17 263 0 0 0 0 5657 7738 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5559 7671 1 2 96 0 0
5 0 0 3533 17 263 0 0 0 0 5584 7745 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5560 7723 2 2 97 0 0
7 0 0 3533 17 263 0 0 0 0 5363 7408 1 1 98 0 0
3 0 0 3533 17 263 0 0 0 0 4960 6685 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 8 490 847 0
0 100 0 0
3 0 0 3533 17 263 0 0 0 0 502 907 0
0 100 0 0
3 0 0 3533 17 263 0 0 0 0 500 846 0
0 100 0 0
[t-hashi@gtp301 ~]$ ./mcb -c get -a 172.20.31.205 -p 11211 -t 50 -n
2000 -l 1024 -s -m 10000
condition =>
memcached = 172.20.31.205:11211
command = get
50 thread run
send 2000 command a thread, total 100000 command
data length = 1024
result =>
interval = 43.806301 [sec]
performance = 2282.776620 [command/sec]
thread info:
ave. = 42.160808[sec], min = 40.160611[sec], max = 43.804653[sec]
[t-hashi@gtp205 ~]$ vmstat -S m -n 2
procs -----------memory---------- ---swap-- -----io---- --system--
-----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
5 0 0 3526 18 270 0 0 13 7 122 234 0
0 100 0 0
3 0 0 3526 18 270 0 0 0 0 31016 38199 49
15 35 0 1
5 0 0 3525 18 270 0 0 0 16 31519 38553 48
15 36 0 1
4 0 0 3525 18 270 0 0 0 2 26418 32052 48
14 37 0 1
5 0 0 3525 18 270 0 0 0 0 30790 37966 47
18 35 0 1
7 0 0 3525 18 270 0 0 0 0 32458 40062 50
20 29 0 1
7 0 0 3525 18 270 0 0 0 22 33013 40854 51
19 29 0 1
5 0 0 3525 18 270 0 0 0 0 32784 40440 51
18 31 0 1
4 0 0 3525 18 270 0 0 0 6 31287 38188 50
16 33 0 1
4 0 0 3525 18 270 0 0 0 0 32566 40348 49
18 32 0 1
5 0 0 3525 18 270 0 0 0 0 32992 40846 51
16 33 0 1
5 0 0 3525 18 270 0 0 0 0 32861 40580 50
18 32 0 1
5 0 0 3525 18 270 0 0 0 0 32189 39737 46
19 34 0 1
5 0 0 3525 18 270 0 0 0 4 32994 40807 49
19 32 0 1
3 0 0 3525 18 270 0 0 0 0 33136 40862 50
17 33 0 1
3 0 0 3525 18 270 0 0 0 0 33312 41332 50
18 31 0 1
2 0 0 3525 18 270 0 0 0 12 31582 38786 48
18 34 0 1
4 0 0 3525 18 270 0 0 0 0 33237 40898 49
19 31 0 1
2 0 0 3525 18 270 0 0 0 0 33156 40825 48
18 33 0 1
6 0 0 3525 18 270 0 0 0 0 33395 40956 50
17 32 0 1
5 0 0 3525 18 270 0 0 0 6 31706 38739 53
16 30 0 1
1 0 0 3525 18 270 0 0 0 0 19777 24406 29
10 61 0 0
1 0 0 3525 18 270 0 0 0 0 735 1088 0
0 100 0 0
1 0 0 3525 18 270 0 0 0 8 721 1084 0
0 100 0 0
1 0 0 3525 18 270 0 0 0 0 730 1089 0
0 100 0 0
[t-hashi@gtp206 ~]$ vmstat -S m 2
procs -----------memory---------- ---swap-- -----io---- --system--
-----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 3533 17 263 0 0 18 9 228 373 1 0 99 0 0
0 0 0 3533 17 263 0 0 0 0 2912 4254 1 1 98 0 0
3 0 0 3533 17 263 0 0 0 0 6042 8320 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 12 5241 7352 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5564 7788 2 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5565 7708 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5427 7618 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5286 7386 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 40 5532 7714 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5391 7587 1 2 96 0 0
3 0 0 3533 17 263 0 0 0 72 4742 6587 0 2 98 0 0
3 0 0 3533 17 263 0 0 0 0 5353 7485 2 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5450 7573 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 4 5502 7693 1 2 96 0 0
3 0 0 3533 17 263 0 0 0 0 5385 7528 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 6 5459 7575 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 0 5385 7612 1 2 96 0 0
5 0 0 3533 17 263 0 0 0 0 5657 7738 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5559 7671 1 2 96 0 0
5 0 0 3533 17 263 0 0 0 0 5584 7745 1 2 97 0 0
5 0 0 3533 17 263 0 0 0 0 5560 7723 2 2 97 0 0
7 0 0 3533 17 263 0 0 0 0 5363 7408 1 1 98 0 0
3 0 0 3533 17 263 0 0 0 0 4960 6685 1 2 97 0 0
3 0 0 3533 17 263 0 0 0 8 490 847 0
0 100 0 0
3 0 0 3533 17 263 0 0 0 0 502 907 0
0 100 0 0
3 0 0 3533 17 263 0 0 0 0 500 846 0
0 100 0 0
---
Tomoya Hashimoto
2008/11/18 9:04 Takeru INOUE <tak...@gm...>:
> ets のスループットはもう少し上がりそうな気もします．
>
> 差し支えなければ，PC のスペックはどのくらいか教えていただけますでしょうか．
> あと，CPU 使用率と，ネットワークの状況 (Gbit?) はどうでしたでしょうか．
>
>
> 2008/11/17 Tomoya Hashimoto <tom...@gm...>:
>> 橋本です。
>>
>> 早速Rev 99で同様に試してみました。こちらではエラーが発生しなくなりました。大体以下のような
>> 数字が得られました。detsはetsの1/3ぐらい、という結果でした。
>>
>> ■ ets
>>
>> [t-hashi@gtp301 ~]$ ./mcb -c set -a 172.20.31.207 -p 11211 -t 200 -n
>> 100 -l 1024 -s -m 10000
>> condition =>
>> memcached = 172.20.31.207:11211
>> command = set
>> 200 thread run
>> send 100 command a thread, total 20000 command
>> data length = 1024
>> result =>
>> interval = 12.847524 [sec]
>> performance = 1556.720199 [command/sec]
>> thread info:
>> ave. = 10.303019[sec], min = 2.445050[sec], max = 12.843495[sec]
>>
>> ■ dets
>>
>> [t-hashi@gtp301 ~]$ ./mcb -c set -a 172.20.31.205 -p 11211 -t 200 -n
>> 100 -l 1024 -s -m 10000
>> condition =>
>> memcached = 172.20.31.205:11211
>> command = set
>> 200 thread run
>> send 100 command a thread, total 20000 command
>> data length = 1024
>> result =>
>> interval = 38.860149 [sec]
>> performance = 514.666064 [command/sec]
>> thread info:
>> ave. = 35.751326[sec], min = 19.174975[sec], max = 38.857620[sec]
>> [t-hashi@gtp301 ~]$
>>
>> ＃今度のErlang勉強会にお邪魔するのでご挨拶させてください
>>
>> ---
>> Tomoya Hashimoto
>>
>> 2008/11/17 17:34 shinohara <shi...@gm...>:
>>> しのはら(shino)です。
>>> # kai-users-ja にもクロスポストしてみます。
>>>
>>> On 11/17/08 1:28 PM Tomoya Hashimoto wrote:
>>>> 使い方がまずいのかもしれませんが、私の手元ではエラーが出ているので報告させていただきます。
>>>>
>>>> こちらのツールを使ってベンチマークを取っています。
>>>> http://www.interdb.jp/techinfo/mcb/
>>>
>>> エラー報告 & 便利なツールありがとうございます :-)
>>>
>>>> 初めの一回ぐらいはうまくいくのですが、リクエストするホストを変えたりして2,3回ほど試すとKaiがエラーを出力しています。
>>>>
>>>> 7>
>>>> =ERROR REPORT==== 17-Nov-2008::13:08:21 ===
>>>> Error in process <0.2140.0> with exit value: {{badmatch,{error,"stale
>>>> state"}},[{kai_coordinator,coordinate_put,1},{kai_coordinator,start_route,3}]}
>>>
>>> バグでした。branch で修正しましたので、確認してもらえるとありがたいです。
>>> - vector clocks の更新で、過去データを元にノードのカウンターをインクレメントするようにした
>>> - 古い状態(stale state)かどうかの判断は、cas unique が渡ってくる cas でしか出来無い(と思う)
>>> ので、判断ロジックを削除
>>>
>>> URL: https://kai.svn.sourceforge.net/svnroot/kai/branches/shino_vector_clocks
>>> Revision: 99
>>> Last Changed Author: shino_shun
>>> Last Changed Rev: 99
>>> Last Changed Date: 2008-11-17 16:52:10 +0900 (Mon, 17 Nov 2008)
>>>
>>> よろしくおねがいします m(_ _)m
>>>
>>> shino
>>>
>>>
>>
>> -------------------------------------------------------------------------
>> This SF.Net email is sponsored by the Moblin Your Move Developer's challenge
>> Build the coolest Linux based applications with Moblin SDK & win great prizes
>> Grand prize is a trip for two to an Open Source event anywhere in the world
>> http://moblin-contest.org/redirect.php?banner_id=100&url=/
>> _______________________________________________
>> Kai-users-ja mailing list
>> Kai...@li...
>> https://lists.sourceforge.net/lists/listinfo/kai-users-ja
>>
>
>
>
> --
> Takeru INOUE <tak...@gm...>
>
|
