<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I suspect it is something that is going to have to be dealt with in the future (I just don&#39;t know how yet). </div>
</div></blockquote><div><br></div><div>The web has managed to survive despite constant fast crawls being the norm for the past 10 years or so. I wouldn&#39;t worry too much about this unless you can prove that a big chunk of your nodes resources are going to answering ver queries. </div>
</div></div></div>