<div dir="ltr">Hi Aurélien,<div><br></div><div>Sorry for the late reply. Recently, I found that I need to solve this problem otherwise rqlcontroller is not reliable. It happens often on my laptop and the server as well.</div>
<div><br></div><div>I appreciate any help and suggestion. Thanks in advance. </div><div><br></div><div><br></div><div><div>0. Scripts</div><div>==========</div><div><br></div><div>Database schema (schema.py):</div><div>----------------</div>
<div>```python</div><div>class Study(EntityType):</div><div>    """ The study """</div><div>    identifier = String(required=True, fulltextindexed=True,</div><div>                        indexed=True, maxsize=64)</div>
<div>```</div><div><br></div><div>Import script (test_rql.py):</div><div>--------------</div><div>```python</div><div><div>import json</div><div>import uuid</div><div>from datetime import datetime</div><div><br></div><div>
try:</div><div>    # ensure a recent request lib is available</div><div>    import requests</div><div>    assert [int(n) for n in requests.__version__.split('.', 2)][:2] >= [1, 2]</div><div>except (ImportError, AssertionError):</div>
<div>    requests = None</div><div><br></div><div>if __name__ == "__main__":</div><div>    # Create a session that with authentication</div><div>    base_url = '<a href="http://localhost:8080">http://localhost:8080</a>'</div>
<div>    r = requests.Session()</div><div>    a = r.get(base_url + "?__login=admin&__password=admin")</div><div>    print a.status_code</div><div>    for i in xrange(10000):</div><div>        # Insert a data</div>
<div>        print "=" * 30</div><div>        print "step %d" % i</div><div>        identifier = uuid.uuid4()</div><div>        args = [('INSERT Study S: S identifier "%(identifier)s"'</div>
<div>                 % dict(identifier=str(identifier)),</div><div>                 {}), ]</div><div>        time1 = datetime.now()</div><div>        a = r.post(base_url + "/rqlio/1.0",</div><div>                   data=json.dumps(args),</div>
<div>                   headers={'Content-Type': 'application/json'})</div><div>        time2 = datetime.now()</div><div>        diff = time2 - time1</div><div>        print "It takes ", diff.microseconds, " microseconds"</div>
<div>        output_rql = a.json()[0]</div><div>        print a.status_code</div><div>        print output_rql</div></div><div>```</div><div><br></div><div>Benchmark script (benchmark_mem.sh):</div><div>-------------------------</div>
</div><div><br></div><div>```sh<br></div><div><div>while true; do</div><div>ps -C cubicweb-ctl -o pid=,%mem=,vsz=,%cpu= >> /tmp/mem.log</div><div>sleep 1</div><div>done</div></div><div>```<br></div><div><br></div><div>
<div>1. Experiment on importation</div><div>==============</div></div><div><br></div><div>Start the server by:</div><div><br></div><div>```</div><div>$ cubicweb-ctl start -D itest_rqlcontroller</div><div>```</div><div><br>
</div><div>Start the benchmark script (benchmark_mem.sh):</div><div><br></div><div>```</div><div>$ source benchmark_mem.sh</div><div>```</div><div><br></div><div><div>Start the importation script (test_rql.py):</div><div>
<br></div><div>```</div><div>$ python test_rql.py</div><div>```</div></div><div><br></div><div><br></div><div><div>2. Experiment output</div><div>================</div></div><div><br></div><div><br></div><div>The tail log information when it freezes.<br>
</div><div><br></div><div>server output:</div><div>-------------------</div><div><br></div><div>```<br></div><div>................</div><div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.0 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.0 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.0 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.00999999999999 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.0 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.01 sec</div>
<div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: no login/password in form params</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: publish "/rqlio/1.0" (admin41b1a129689d453887be4e6bedf216d6, form params: [])</div>
<div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: not a static file uri: /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no simple rewrite rule found for /rqlio/1.0</div><div>2014-06-13 10:20:09 - (cubicweb.appobject) DEBUG: no schemabased rewrite rule found for /rqlio/1.0</div>
<div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div><div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: precommit session admin41b1a129689d453887be4e6bedf216d6 done</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: postcommit session admin41b1a129689d453887be4e6bedf216d6 done</div><div>2014-06-13 10:20:09 - (cubicweb.repository) DEBUG: begin commit for session admin41b1a129689d453887be4e6bedf216d6</div>
<div>2014-06-13 10:20:09 - (cubicweb.session) DEBUG: commit session admin41b1a129689d453887be4e6bedf216d6 done (no db activity)</div><div>2014-06-13 10:20:09 - (cubicweb.web) DEBUG: query rqlio/1.0 executed in 0.0 sec</div>
</div><div>```<br></div><div class="gmail_extra"><br></div><div class="gmail_extra"><div>benchmark_mem.sh<br></div><div>-------------------</div><div>-o pid=,%mem=,vsz=,%cpu=<br></div></div><div class="gmail_extra">```</div>
<div class="gmail_extra">10547  1.5 638312 12.0<br></div><div class="gmail_extra"><div class="gmail_extra">10547  1.5 638312 10.6</div><div class="gmail_extra">10547  1.5 638312  9.7</div><div class="gmail_extra">10547  1.5 638312  8.8</div>
<div class="gmail_extra">10547  1.5 638312  8.1</div><div class="gmail_extra">10547  1.5 638312  7.5</div><div class="gmail_extra">10547  1.5 638312  7.0</div><div class="gmail_extra">10547  1.5 638312  6.6</div><div class="gmail_extra">
10547  1.5 638312  6.2</div><div class="gmail_extra">10547  1.5 638312  5.8</div><div class="gmail_extra">10547  1.5 712176  6.7</div><div class="gmail_extra">10547  1.5 712408  9.2</div><div class="gmail_extra">10547  1.5 712408 11.8</div>
<div class="gmail_extra">10547  1.5 712408 14.3</div><div class="gmail_extra">10547  1.5 712408 16.4</div><div class="gmail_extra">10547  1.5 712408 17.7</div><div class="gmail_extra">10547  1.5 712408 19.4</div><div class="gmail_extra">
10547  1.5 712408 21.0</div><div class="gmail_extra">10547  1.5 712408 22.5</div><div class="gmail_extra">10547  1.5 712408 23.1</div><div class="gmail_extra">10547  1.5 712408 24.3</div><div class="gmail_extra">10547  1.5 712408 25.5</div>
<div class="gmail_extra">10547  1.6 712408 26.5</div><div class="gmail_extra">10547  1.6 712408 27.5</div><div class="gmail_extra">10547  1.6 712408 28.3</div><div class="gmail_extra">10547  1.6 712408 29.2</div><div class="gmail_extra">
10547  1.6 712408 29.6</div><div class="gmail_extra">10547  1.6 712408 30.3</div><div class="gmail_extra">10547  1.6 712408 30.8</div><div class="gmail_extra">10547  1.6 712408 31.7</div><div class="gmail_extra">10547  1.6 712408 32.3</div>
<div class="gmail_extra">10547  1.6 712408 33.1</div><div class="gmail_extra">10547  1.6 712408 33.5</div><div class="gmail_extra">10547  1.6 712408 34.1</div><div class="gmail_extra">10547  1.6 712680 34.6</div><div class="gmail_extra">
10547  1.6 712680 35.2</div><div class="gmail_extra">10547  1.6 712680 35.7</div><div class="gmail_extra">10547  1.6 712680 36.3</div><div class="gmail_extra">10547  1.6 712680 36.8</div><div class="gmail_extra">10547  1.6 712680 37.2</div>
<div class="gmail_extra">10547  1.6 712680 37.7</div><div class="gmail_extra">10547  1.6 712680 38.2</div><div class="gmail_extra">10547  1.6 712680 38.4</div><div class="gmail_extra">10547  1.6 712680 38.8</div><div class="gmail_extra">
10547  1.6 712680 39.1</div><div class="gmail_extra">10547  1.6 712680 39.5</div><div class="gmail_extra">10547  1.6 712680 39.9</div><div class="gmail_extra">10547  1.7 712680 40.2</div><div class="gmail_extra">10547  1.7 712680 40.6</div>
<div class="gmail_extra">10547  1.7 712680 40.7</div><div class="gmail_extra">10547  1.7 712680 41.0</div><div class="gmail_extra">10547  1.7 712680 41.3</div><div class="gmail_extra">10547  1.7 712680 41.4</div><div class="gmail_extra">
10547  1.7 786412 41.7</div><div class="gmail_extra">10547  1.7 786412 41.9</div><div class="gmail_extra">10547  1.7 786412 42.1</div><div class="gmail_extra">10547  1.7 786412 42.4</div><div class="gmail_extra">10547  1.7 786412 42.7</div>
<div class="gmail_extra">10547  1.7 786412 42.9</div><div class="gmail_extra">10547  1.7 786412 43.2</div><div class="gmail_extra">10547  1.7 786412 43.5</div><div class="gmail_extra">10547  1.7 786412 43.7</div><div class="gmail_extra">
10547  1.7 786412 43.9</div><div class="gmail_extra">10547  1.7 786412 44.1</div><div class="gmail_extra">10547  1.7 786412 44.2</div><div class="gmail_extra">10547  1.7 786412 44.3</div><div class="gmail_extra">10547  1.7 786412 44.5</div>
<div class="gmail_extra">10547  1.7 786412 44.6</div><div class="gmail_extra">10547  1.8 786668 44.8</div><div class="gmail_extra">10547  1.8 786668 45.1</div><div class="gmail_extra">10547  1.8 786668 45.3</div><div class="gmail_extra">
10547  1.8 786668 45.5</div><div class="gmail_extra">10547  1.8 786668 45.6</div><div class="gmail_extra">10547  1.8 786668 45.8</div><div class="gmail_extra">10547  1.8 786668 46.0</div><div class="gmail_extra">10547  1.8 786668 46.1</div>
<div class="gmail_extra">10547  1.8 786668 46.1</div><div class="gmail_extra">10547  1.8 786668 46.2</div><div class="gmail_extra">10547  1.8 786668 46.4</div><div class="gmail_extra">10547  1.8 786668 46.6</div><div class="gmail_extra">
10547  1.8 786668 46.8</div><div class="gmail_extra">10547  1.8 786668 46.7</div><div class="gmail_extra">10547  1.8 786668 46.9</div><div class="gmail_extra">10547  1.8 786668 47.0</div><div class="gmail_extra">10547  1.8 786668 47.2</div>
<div class="gmail_extra">10547  1.8 786668 47.3</div><div class="gmail_extra">10547  1.8 786668 46.9</div><div class="gmail_extra">10547  1.8 786924 47.0</div><div class="gmail_extra">10547  1.9 786924 47.1</div><div class="gmail_extra">
10547  1.9 786924 47.3</div><div class="gmail_extra">10547  1.9 786924 47.5</div><div class="gmail_extra">10547  1.9 786924 47.5</div><div class="gmail_extra">10547  1.9 786924 47.5</div><div class="gmail_extra">10547  1.9 786924 47.6</div>
<div class="gmail_extra">10547  1.9 786924 47.7</div><div class="gmail_extra">10547  1.9 786924 47.8</div><div class="gmail_extra">10547  1.9 786924 47.9</div><div class="gmail_extra">10547  1.9 786924 48.0</div><div class="gmail_extra">
10547  1.9 786924 48.1</div><div class="gmail_extra">10547  1.9 786924 48.2</div><div class="gmail_extra">10547  1.9 786924 48.3</div><div class="gmail_extra">10547  1.9 786924 48.4</div><div class="gmail_extra">10547  1.9 786924 48.5</div>
<div class="gmail_extra">10547  1.9 786924 48.5</div><div class="gmail_extra">10547  1.9 786924 48.7</div><div class="gmail_extra">10547  1.9 786924 48.7</div><div class="gmail_extra">10547  1.9 786924 48.8</div><div class="gmail_extra">
10547  1.9 786924 48.9</div><div class="gmail_extra">10547  1.9 786924 49.0</div><div class="gmail_extra">10547  1.9 786924 49.1</div><div class="gmail_extra">10547  1.9 786924 49.1</div><div class="gmail_extra">10547  1.9 786924 49.1</div>
<div class="gmail_extra">10547  1.9 786924 49.2</div><div class="gmail_extra">10547  1.9 786924 49.3</div><div class="gmail_extra">10547  1.9 786924 49.3</div><div class="gmail_extra">10547  1.9 786924 49.4</div><div class="gmail_extra">
10547  1.9 786924 49.5</div><div class="gmail_extra">10547  1.9 786924 49.5</div><div class="gmail_extra">10547  1.9 786924 49.6</div><div class="gmail_extra">10547  1.9 786924 49.6</div><div class="gmail_extra">10547  2.0 786924 49.7</div>
<div class="gmail_extra">10547  2.0 786924 49.7</div><div class="gmail_extra">10547  2.0 786924 49.8</div><div class="gmail_extra">10547  2.0 786924 49.9</div><div class="gmail_extra">10547  2.0 786924 50.0</div><div class="gmail_extra">
10547  2.0 786924 50.0</div><div class="gmail_extra">10547  2.0 786924 50.1</div><div class="gmail_extra">10547  2.0 786924 50.2</div><div class="gmail_extra">10547  2.0 786924 50.2</div><div class="gmail_extra">10547  2.0 786924 50.3</div>
<div class="gmail_extra">10547  2.0 786924 50.4</div><div class="gmail_extra">10547  2.0 786924 50.4</div><div class="gmail_extra">10547  2.0 786924 50.5</div><div class="gmail_extra">10547  2.0 786924 50.6</div><div class="gmail_extra">
10547  2.0 786924 50.6</div><div class="gmail_extra">10547  2.0 786924 50.7</div><div class="gmail_extra">10547  2.0 786924 50.7</div><div class="gmail_extra">10547  2.0 786924 50.8</div><div class="gmail_extra">10547  2.0 786924 50.9</div>
<div class="gmail_extra">10547  2.0 786924 50.9</div><div class="gmail_extra">10547  2.0 786924 51.0</div><div class="gmail_extra">10547  2.0 786924 51.0</div><div class="gmail_extra">10547  2.0 786924 51.1</div><div class="gmail_extra">
10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.2</div>
<div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.0</div><div class="gmail_extra">
10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.1</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.3</div>
<div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">
10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.2</div>
<div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 786924 51.2</div><div class="gmail_extra">10547  2.0 786924 51.3</div><div class="gmail_extra">
10547  2.0 786924 51.3</div><div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.0 860656 51.3</div><div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.0 860656 51.2</div>
<div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.0 860656 51.2</div><div class="gmail_extra">
10547  2.0 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div>
<div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">
10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div>
<div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.2</div><div class="gmail_extra">10547  2.1 860656 51.3</div><div class="gmail_extra">10547  2.1 860656 51.3</div><div class="gmail_extra">
10547  2.1 860656 51.3</div><div class="gmail_extra">10547  2.1 860656 51.3</div><div class="gmail_extra">10547  2.1 860656 51.3</div><div class="gmail_extra">10547  2.1 860912 51.3</div><div class="gmail_extra">10547  2.1 860912 51.3</div>
<div class="gmail_extra">10547  2.1 860912 51.3</div><div class="gmail_extra">10547  2.1 860912 51.3</div><div class="gmail_extra">10547  2.1 860912 51.3</div><div class="gmail_extra">10547  2.1 861168 51.3</div><div class="gmail_extra">
10547  2.1 861168 51.3</div><div class="gmail_extra">10547  2.1 861168 51.3</div><div class="gmail_extra">10547  2.1 861168 51.3</div><div class="gmail_extra">10547  2.1 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div>
<div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.2</div><div class="gmail_extra">
10547  2.2 861168 51.2</div><div class="gmail_extra">10547  2.2 861168 51.2</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.2</div>
<div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">
10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div>
<div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">
10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.3</div><div class="gmail_extra">10547  2.2 861168 51.1</div><div class="gmail_extra">10547  2.2 861168 50.9 <- Freeze approximately here </div>
<div class="gmail_extra">10547  2.2 861168 50.7</div><div class="gmail_extra">10547  2.2 861168 50.5</div><div class="gmail_extra">10547  2.2 861168 50.3</div><div class="gmail_extra">10547  2.2 861168 50.1</div><div class="gmail_extra">
10547  2.2 861168 49.7</div><div class="gmail_extra">10547  2.2 861168 49.5</div><div class="gmail_extra">10547  2.2 861168 49.3</div><div class="gmail_extra">10547  2.2 861168 49.1</div><div class="gmail_extra">10547  2.2 861168 49.0</div>
<div class="gmail_extra">10547  2.2 861168 48.8</div><div class="gmail_extra">10547  2.2 861168 48.6</div><div class="gmail_extra">10547  2.2 861168 48.4</div><div class="gmail_extra">10547  2.2 861168 48.2</div><div class="gmail_extra">
10547  2.2 861168 48.0</div></div><div class="gmail_extra">```</div><div class="gmail_extra"><br></div><div class="gmail_extra">test_rql.py<br></div><div class="gmail_extra">--------------</div><div class="gmail_extra">```</div>
<div class="gmail_extra">.....</div><div class="gmail_extra"><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8145</div><div class="gmail_extra">It takes  16552  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8921]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8146</div><div class="gmail_extra">It takes  16465  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8922]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8147</div><div class="gmail_extra">It takes  16429  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8923]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8148</div><div class="gmail_extra">It takes  16563  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8924]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8149</div><div class="gmail_extra">It takes  16577  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8925]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8150</div><div class="gmail_extra">It takes  17723  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8926]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8151</div><div class="gmail_extra">It takes  15339  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8927]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8152</div><div class="gmail_extra">It takes  16759  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8928]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8153</div><div class="gmail_extra">It takes  16349  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8929]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8154</div><div class="gmail_extra">It takes  16723  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8930]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8155</div><div class="gmail_extra">It takes  16203  microseconds</div>
<div class="gmail_extra">200</div><div class="gmail_extra">[[8931]]</div><div class="gmail_extra">==============================</div><div class="gmail_extra">step 8156</div><div class="gmail_extra"><br></div><div class="gmail_extra">
freezing...</div></div><div class="gmail_extra">```</div><div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">My conclusion</div><div class="gmail_extra">===========</div><div class="gmail_extra">
<br></div></div><div class="gmail_extra">The memory and cpu consumption are still low.  I can restart test_rql.py to continue import data which means the server is not broken. There are only 8155 entities in the database which is a small dataset. This bug could be easily reproduced within 5 minutes.</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">The script stops at waiting for the response from http server after post.</div><div class="gmail_extra">```</div><div class="gmail_extra"><div class="gmail_extra">
        a = r.post(base_url + "/rqlio/1.0",</div><div class="gmail_extra">                   data=json.dumps(args),</div><div class="gmail_extra">                   headers={'Content-Type': 'application/json'})</div>
</div><div class="gmail_extra">```</div><div class="gmail_extra"><br></div><div class="gmail_extra">I think there is a bug that sending back response on the http server. Any suggestion will be appreciated. </div><div class="gmail_extra">
<br></div><div class="gmail_extra">Thanks and regards,</div><div class="gmail_extra">Jinpeng</div><div class="gmail_extra"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 20, 2014 at 5:51 PM, Aurélien Campéas <span dir="ltr"><<a href="mailto:aurelien.campeas@logilab.fr" target="_blank">aurelien.campeas@logilab.fr</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">On 20/05/2014 17:37, Jinpeng Li wrote:<br>
> Hi Cubicweb Team,<br>
<br>
Hi Jinpeng,<br>
<div class=""><br>
><br>
> Just let you know my feedback on rqlcontroller.<br>
<br>
</div>Thanks,<br>
<div class=""><br>
><br>
> Therefore recently I imported all the data using rqlcontroller over<br>
> http(s). It works very well for small set of data. However, considering<br>
> a large data set, sometimes I fail to get response after I post data to<br>
> the server. It may be caused by too frequent http-post on cubicweb<br>
> server. Or rqlcontroller try to protect server from DOS attack. Or it is<br>
</div>> a problem in /requests. /I found a solution that I need to set up a<br>
> timeout parameter for the /requests/ to avoid unlimited waiting.  Please<br>
<div class="">> see the example as below. The test script and server is running on the<br>
> same machine. The network is stable. I hope this feedback is useful for you.<br>
><br>
<br>
</div>Looks like you just wrote a kind of benchmark & stress test :)<br>
We want more of these !<br>
<br>
Could you just compute the time it takes to compute each request to<br>
this script ? It could give interesting hints and show slow-downs<br>
happening while you hammer the instance.<br>
<br>
At the same time, watching the overall instance memory consumption<br>
would be interesting.<br>
<br>
Regards,<br>
Aurélien.<br>
<br>
_______________________________________________<br>
Cubicweb mailing list<br>
<a href="mailto:Cubicweb@lists.cubicweb.org">Cubicweb@lists.cubicweb.org</a><br>
<a href="http://lists.cubicweb.org/mailman/listinfo/cubicweb" target="_blank">http://lists.cubicweb.org/mailman/listinfo/cubicweb</a><br>
</blockquote></div><br></div></div>