Hi Olly, <br>
<br>
Here are my replies : <br><br><div><span class="gmail_quote">On 2/16/06, <b class="gmail_sendername">Olly Betts</b> &lt;<a href="mailto:olly@survex.com">olly@survex.com</a>&gt; wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
On Wed, Feb 15, 2006 at 01:03:09AM +0200, David Levy wrote:<br>&gt; I am experiencing bad response times with Xapian/Omega in the last few days.<br>&gt; My database has more than 700k records, using ~ 3Go disk space.<br>&gt; Maybe my requests or my templates are not optimized, or maybe it's a
<br>&gt; hardware (disk speed) issue. The weird thing is that often, the search time<br>&gt; provided in the response is sub second, and the response is actually given<br>&gt; by Omega over one second (even seconds ...).<br>
<br>The time reported by &quot;$time&quot; includes the match, but because of how<br>Omega works it doesn't include the time to calculate top terms (if<br>you're using $topterms), and also doesn't include the time to display
<br>the matches.&nbsp;&nbsp;If you're actually displaying a lot of matches that can be<br>quite considerable.<br><br>So one thing to check is that $topterms isn't being used.</blockquote><div><br>
I do not use it in this template, as I read yet how time consuming it was.<br>
Also I ask the 5 first hits in the omega request&nbsp; (HITSPERPAGE parameter, is it the better way ?)<br>
</div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">&gt; To solve this issue, I was been thinking about load balancing Xapian. I<br>&gt; could not find any information about that on Internet. One of you did it yet
<br>&gt; ? How ?<br><br>I've not done it myself.&nbsp;&nbsp;The simple approach is just to put several<br>boxes in the DNS and they'll be used in a round-robin fashion.</blockquote><div><br>
right, i had forgotten this way<br>
<br>
</div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">&gt; I've done some tests this morning and it seems that some of this slowlyness<br>
&gt; is due to sorting.<br>&gt;<br>&gt; Indeed, Omega requests with and with sorting do not produce the same<br>&gt; calculation time at all. &lt; 1 s without sorting and sometimes &gt; 30 s with<br>&gt; sorting.... These 30 seconds happen with results having like 500+ matches.
<br>&gt; How can it be possible ? Sorting should not be so much time consuming I<br>&gt; guess.<br><br>It's not the actual sorting which takes the extra time - the issue is<br>that for a multi-term query, relevance ranking can terminate early in
<br>many cases (often when we reach the end of the matches for any of the<br>terms).&nbsp;&nbsp;But if results are sorted on a value, we need to consider every<br>result which matches the query.</blockquote><div><br>
so you are telling me I won't be able to improve my calculation time if I still use sorting ...?<br>
Is there any other way to get results sorted by another criteria than relevance ?<br>
</div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Cheers,<br>&nbsp;&nbsp;&nbsp;&nbsp;Olly<br></blockquote></div><br>Thanks!!<br clear="all"><br>-- <br>
David LEVY {selenium}<br>Website ~ <a href="http://www.davidlevy.org">http://www.davidlevy.org</a><br>Wishlist Zlio ~ <a href="http://david.zlio.com/wishlist">http://david.zlio.com/wishlist</a><br>Blog ~ <a href="http://selenium.blogspot.com">
http://selenium.blogspot.com</a><br>