<div dir="ltr">I took the number out, it is now just &quot;the getutxo bip&quot; until a number is assigned.</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jul 10, 2014 at 4:29 PM, Mike Hearn <span dir="ltr">&lt;<a href="mailto:mike@plan99.net" target="_blank">mike@plan99.net</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I opened up a pull req for a draft BIP for getutxo.</div><div><br></div>   <a href="https://github.com/bitcoin/bips/pull/88" target="_blank">https://github.com/bitcoin/bips/pull/88</a><br>
<div><br></div><div>I include a rendering below for your reading convenience. If you&#39;d like to comment on design/security/etc then please first familiarise yourself with the long discussions that were already had here:</div>

<div><br></div><div>   <a href="https://github.com/bitcoin/bitcoin/pull/4351" target="_blank">https://github.com/bitcoin/bitcoin/pull/4351</a><br></div><div><br></div><div><br></div><div><pre style="overflow:auto;font-family:Consolas,&#39;Liberation Mono&#39;,Menlo,Courier,monospace;font-size:13px;margin:15px auto;border:1px solid rgb(221,221,221);line-height:19px;padding:10px 20px;border-top-left-radius:3px;border-top-right-radius:3px;border-bottom-right-radius:3px;border-bottom-left-radius:3px;word-wrap:normal;max-width:700px;color:rgb(51,51,51);background-color:rgb(248,248,248)">
  BIP: 45
  Title: getutxo message
  Author: Mike Hearn &lt;<a href="mailto:hearn@vinumeris.com" target="_blank">hearn@vinumeris.com</a>&gt;
  Status: Draft
  Type: Standards Track
  Created: 2014-06-10
</pre><p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

</p><table summary="Contents" style="border-collapse:collapse;border-spacing:0px;margin:15px auto;width:700px;overflow:auto;display:block;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

<tbody><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)"><td style="padding:6px 13px;border:1px solid rgb(221,221,221)"><div>Table of Contents</div><ul style="padding:0px 0px 0px 30px;margin:15px 0px">

<ul style="padding:0px 0px 0px 30px;margin:0px"><li><a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Abstract" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Abstract</a></li>

<li><a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Motivation" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Motivation</a></li>
<li>
<a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Specification" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Specification</a></li>

<li><a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Backward_compatibility" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Backward compatibility</a></li>

<li><a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Authentication" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Authentication</a></li>

<li><a href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#Implementation" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">Implementation</a></li>

</ul></ul></td></tr></tbody></table><h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-abstract" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#abstract" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Abstract" style="color:rgb(65,131,196);background:transparent">Abstract</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">This document describes a small P2P protocol extension that performs UTXO lookups given a set of outpoints.</p>

<h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-motivation" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#motivation" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Motivation" style="color:rgb(65,131,196);background:transparent">Motivation</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">All full Bitcoin nodes maintain a database called the unspent transaction output set. This set is how double spending is checked for: to be valid a transaction must identify unspent outputs in this set using an identifier called an &quot;outpoint&quot;, which is merely the hash of the output&#39;s containing transaction plus an index.</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">The ability to query this can sometimes be useful for a lightweight/SPV client which does not have the full UTXO set at hand. For example, it can be useful in applications implementing assurance contracts to do a quick check when a new pledge becomes visible to test whether that pledge was already revoked via a double spend. Although this message is not strictly necessary because e.g. such an app could be implemented by fully downloading and storing the block chain, it is useful for obtaining acceptable performance and resolving various UI cases.</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">Another example of when this data can be useful is for performing floating fee calculations in an SPV wallet. This use case requires some other changes to the Bitcoin protocol however, so we will not dwell on it here.</p>

<h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-specification" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#specification" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Specification" style="color:rgb(65,131,196);background:transparent">Specification</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">Two new messages are defined. The &quot;getutxos&quot; message has the following structure:</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px"></p>

<table style="border-collapse:collapse;border-spacing:0px;margin:15px auto;width:700px;overflow:auto;display:block;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

<tbody><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)"><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Field Size</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">

Description</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Data type</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Comments</th></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204);background-color:rgb(248,248,248)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">1</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">check mempool</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">bool</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">Whether to apply mempool transactions during the calculation, thus exposing their UTXOs and removing outputs that they spend.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">?</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">outpoints</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">vector</td>
<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">
The list of outpoints to be queried. Each outpoint is serialized in the same way it is in a tx message.</td></tr></tbody></table><p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

The response message &quot;utxos&quot; has the following structure:</p><p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

</p><table style="border-collapse:collapse;border-spacing:0px;margin:15px auto;width:700px;overflow:auto;display:block;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

<tbody><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)"><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Field Size</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">

Description</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Data type</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Comments</th></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204);background-color:rgb(248,248,248)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">4</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">chain height</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">uint32</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">The height of the chain at the moment the result was calculated.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">32</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">chain tip hash</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">uint256</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">Block hash of the top of the chain at the moment the result was calculated.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204);background-color:rgb(248,248,248)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">?</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">hit bitmap</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">byte[]</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">An array of bytes encoding one bit for each outpoint queried. Each bit indicates whether the queried outpoint was found in the UTXO set or not.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">?</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">result utxos</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">result[]</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">A list of result objects (defined below), one for each outpoint that is unspent (i.e. has a bit set in the bitmap).</td></tr></tbody></table><p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

The result object is defined as:</p><p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

</p><table style="border-collapse:collapse;border-spacing:0px;margin:15px auto;width:700px;overflow:auto;display:block;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">

<tbody><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)"><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Field Size</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">

Description</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Data type</th><th style="padding:6px 13px;border:1px solid rgb(221,221,221)">Comments</th></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204);background-color:rgb(248,248,248)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">4</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">tx version</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">uint32</td>

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">The version number of the transaction the UTXO was found in.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">4</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">height</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">uint256</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">

The height of the block containing the defining transaction, or 0x7FFFFFFF if the tx is in the mempool.</td></tr><tr style="border-top-width:1px;border-top-style:solid;border-top-color:rgb(204,204,204);background-color:rgb(248,248,248)">

<td style="padding:6px 13px;border:1px solid rgb(221,221,221)">?</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">output</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">CTxOut</td><td style="padding:6px 13px;border:1px solid rgb(221,221,221)">

The output itself, serialized in the same way as in a tx message.</td></tr></tbody></table><h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-backward-compatibility" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#backward-compatibility" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Backward_compatibility" style="color:rgb(65,131,196);background:transparent">Backward compatibility</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">Nodes indicate support by advertising a protocol version above 70003 and by setting a new NODE_GETUTXO flag in their nServices field, which has a value of 2 (1</p>

<h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-authentication" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#authentication" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Authentication" style="color:rgb(65,131,196);background:transparent">Authentication</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">The UTXO set is not currently authenticated by anything. There are proposals to resolve this by introducing a new consensus rule that commits to a root hash of the UTXO set in blocks, however this feature is not presently available in the Bitcoin protocol. Once it is, the utxos message could be upgraded to include Merkle branches showing inclusion of the UTXOs in the committed sets.</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">If the requesting client is looking up outputs for a signed transaction that they have locally, the client can partly verify the returned output by running the input scripts with it. Currently this verifies only that the script is correct. A future version of the Bitcoin protocol is likely to also allow the value to be checked in this way. It does not show that the output is really unspent or was ever actually created in the block chain however.</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">If the requesting client has a mapping of chain heights to block hashes in the best chain e.g. obtained via getheaders, then they can obtain a proof that the output did at one point exist by requesting the block and searching for the output within it. When combined with Bloom filtering this can be reasonably efficient.</p>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px">Note that even when the outputs are being checked against something this protocol has the same security model as Bloom filtering: a remote node can lie through omission by claiming the requested UTXO does not exist / was already spent (they are the same, from the perspective of a full node). Querying multiple nodes and combining their answers can be a partial solution to this, although as nothing authenticates the Bitcoin P2P network a man in the middle could still yield incorrect results.</p>

<h2 style="margin:15px auto;line-height:1.7;font-size:2em;padding:0px;border-bottom-width:1px;border-bottom-style:solid;border-bottom-color:rgb(238,238,238);max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;">

<a name="14720ad957acd8bb_user-content-implementation" href="https://github.com/mikehearn/bips/commit/6058b92f5d9804ee4104649f53afc2fa53248c81?short_path=35c7795#implementation" style="color:rgb(65,131,196);text-decoration:none;display:block;padding-right:6px;padding-left:30px;background:transparent" target="_blank"></a><a name="14720ad957acd8bb_user-content-Implementation" style="color:rgb(65,131,196);background:transparent">Implementation</a></h2>

<p style="margin:15px auto;max-width:700px;color:rgb(51,51,51);font-family:Helvetica,arial,freesans,clean,sans-serif,&#39;Segoe UI Emoji&#39;,&#39;Segoe UI Symbol&#39;;font-size:16px;line-height:27.200000762939453px"><a href="https://github.com/bitcoin/bitcoin/pull/4351/files" style="color:rgb(65,131,196);text-decoration:none;background:transparent" target="_blank">https://github.com/bitcoin/bitcoin/pull/4351/files</a></p>

</div></div>
</blockquote></div><br></div>