<div dir="ltr">Right now, fastimport does not provide a store api, but I plan to do so (if we agree<div>to call a "store" the thing that lives in cw/dataimport).</div><div><br></div><div>see <a href="http://www.cubicweb.org/ticket/4985775">http://www.cubicweb.org/ticket/4985775</a></div><div><br></div><div>This will reduce the need to write complicated code to use it and provide a drop-in replacement for other stores.</div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-02-25 8:10 GMT+01:00 Sylvain Thénault <span dir="ltr"><<a href="mailto:sylvain.thenault@logilab.fr" target="_blank">sylvain.thenault@logilab.fr</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 24 février 17:43, aurélien campéas wrote:<br>
> Hi Sylvain,<br>
<br>
Hi Aurélien,<br>
<span class=""><br>
> > That would be great if some people could take a look at it and may be take<br>
> > some<br>
> > time to champion one store or another, as I suppose that the current<br>
> > "generic"<br>
> > implementation could be optimized depending on each store particularities.<br>
> ><br>
> > You'll find setup instructions in the README file. The results.txt file<br>
> > states<br>
> > the overall goals I'm looking for, and provides some results and<br>
> > discussion. You<br>
> > should probably at least take a look at this if you're interested:<br>
> > <a href="http://hg.logilab.org/users/sthenault/dibench/file/tip/results.txt" target="_blank">http://hg.logilab.org/users/sthenault/dibench/file/tip/results.txt</a><br>
><br>
> I am interested in the memory consumption issue of fastimport.<br>
> However I stop it at around 8mins run time (without seeing a memory<br>
> spike, but with Christophe fix applied).<br>
><br>
> Upon investigation I suspect the FastExtEntitiesImporter is suboptimal,<br>
> though I have yet to understand what it does...<br>
><br>
> I will dig into this.<br>
<br>
</span>Great. As I said, it's much likely that the FastExtEntitiesImporter could be<br>
optimized for the need of one store or another. You're welcome to provide an<br>
implementation tweaked for the fastimport store. We should probably do that<br>
before starting discussing of a common API.<br>
<span class=""><br>
> > You're much welcome to comment about any point on the list or to provide<br>
> > some<br>
> ><br>
> ><br>
</span><span class="">> Small note: the patch to handle only eids in fastimport is moot provided a<br>
> small patch<br>
> on dibench that sends entities instead of eids.<br>
> I don't think it will affect performance (though I should test it) since at<br>
> relation insertion<br>
> time the entity is actually cached on the cnx anyway.<br>
<br>
</span>Though imo the patch is not that intrusive and makes the fastimport store more<br>
similar to other stores (which may not use entities at all, and so without<br>
anything in the cnx cache). We'll probably want this at some point.<br>
<div class="HOEnZb"><div class="h5"><br>
--<br>
Sylvain Thénault, LOGILAB, Paris <a href="tel:%2801.45.32.03.12" value="+33145320312">(01.45.32.03.12</a>) - Toulouse <a href="tel:%2805.62.17.16.42" value="+33562171642">(05.62.17.16.42</a>)<br>
Formations Python, Debian, Méth. Agiles: <a href="http://www.logilab.fr/formations" target="_blank">http://www.logilab.fr/formations</a><br>
Développement logiciel sur mesure:       <a href="http://www.logilab.fr/services" target="_blank">http://www.logilab.fr/services</a><br>
CubicWeb, the semantic web framework:    <a href="http://www.cubicweb.org" target="_blank">http://www.cubicweb.org</a><br>
</div></div></blockquote></div><br></div>