<div dir="ltr">Hello ZmnSCPxj,<div><br></div><div>I think there are two distinct concepts here. The first is the identification of a &#39;neighborhood&#39;, and the second is the establishment of an order within that neighborhood for purpose of cycle formation.<br><div><br></div><div>Your use of bloom filters to define a neighborhood, is I think the most valuable contribution. Formation of neighborhoods with high connectivity, with sparse but redundant connections among these neighborhoods, does seem like an economically efficient approach to maintaining useful competition and redundancy. If there are any graph theorists or category theorists on the list, perhaps they could offer some formal validation or optimization. For this, I prefer your March 23 proposal over March 24, I&#39;m curious what improvement is intended in March 24 vs 23?</div><div><br></div><div>The emergent definition and maintenance of a unique ordering for cycle establishment within a neighborhood is, I think, a much more ambitious undertaking. I&#39;m not sure how we efficiently make that robust in a dynamic context, except perhaps with interactive coordination among the members operating off something other than just static global data. Otherwise different members would have different ideas about cycle order, depending on when they first joined. I also don&#39;t see how cycles recover when someone leaves.</div><div><br></div><div>As people come and go, cycles will break. As the lightning network grows overall, neighborhoods identified by one setting of the bloom filter will become undesirably large. Perhaps a less ambitious but more robust heuristic would be one where probability of establishing a channel is proportional to the number of bits in common in the pubkey hash, normalized by the number of nodes currently observed? This heuristic would automatically adjust granularity over time as lightning membership grows and shrinks. Nodes could periodically reevaluate their channel allocations as the overall network grows or shrinks.</div><div><br></div><div>Were it not for the privacy goals, dynamic optimization based on actual usage would be possible. Nodes could track the routes of payments that flow through their channels and could spot fees that seem both large and popular, and could use this information to identify under-served nodes to which a direct channel might be in order. If we allowed nodes to see two hops of the route instead of just the one, then such optimization would become possible, although this compromise would require longer minimum routes for a given level of privacy.</div><div><br></div></div><div>Thanks,</div><div>Ben</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Apr 18, 2018 at 10:04 PM, ZmnSCPxj <span dir="ltr">&lt;<a href="mailto:ZmnSCPxj@protonmail.com" target="_blank">ZmnSCPxj@protonmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Good morning Benjamin,<br></div><div><br></div><div>Rusty simulated an older version of my idea here; C code near the end of the message: <a href="https://lists.ozlabs.org/pipermail/c-lightning/2018-April/000029.html" target="_blank">https://lists.ozlabs.org/<wbr>pipermail/c-lightning/2018-<wbr>April/000029.html</a><br></div><div><br></div><div>However this has a bug: I specify that:<br></div><span class=""><div><br></div><pre>&gt;If the candidate already has a channel with us, or has no address info and
&gt;cannot be found by DNS seed or so on, or cannot be contacted, or refuses
&gt;incoming channels or some other error, then increment i and try finding again.<br></pre></span><div>The code there does not implement the check &quot;if the candidate has a channel with us&quot;, leading to smaller reachability since nodes who could afford to create multiple channels will create multiple channels to the same peer in the simulation.<br></div><div><br></div><div>A naive analysis suggests that if only one node in the entire network uses the algorithm I described, it should be indistinguishable from a random connection policy, so a naive analysis suggests that something has gone wrong if the reachability of this algorithm is significantly less than the reachability of a random connection algorithm.  The simulation also does not consider that existing nodes may break old channels or make new channels themselves; it is not certain how often that happens on the real network.<br></div><span class="im HOEnZb"><div><br></div><div>Regards,<br></div><div>ZmnSCPxj<br></div><div><br></div><div class="m_3307198568739803642protonmail_signature_block"><div class="m_3307198568739803642protonmail_signature_block-user m_3307198568739803642protonmail_signature_block-empty"><br></div><div class="m_3307198568739803642protonmail_signature_block-proton">Sent with <a href="https://protonmail.com" target="_blank">ProtonMail</a> Secure Email.<br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div></span><div class="HOEnZb"><div class="h5"><div> On April 19, 2018 7:56 AM, Benjamin Mord &lt;ben@mord.family&gt; wrote:<br></div><div> <br></div><blockquote class="m_3307198568739803642protonmail_quote" type="cite"><div dir="auto"><div dir="auto"><br></div><div dir="auto">Elegant idea.<br></div><div dir="auto"><br></div><div dir="auto">Is there a simulation platform yet for experimenting with ideas such as this? I imagine it may sometimes be useful to empirically test aggregate effects of different routing heuristics, however naive or artificial the underlying assumptions may need to be.<br></div><div dir="auto"><br></div><div>Is there an API, perhaps implementation agnostic, to separate such strategies from the protocol itself?<br></div><div dir="auto"><br></div><div dir="auto"><div>Is there a place yet to specify such heuristics where tight coordination on details are of mutual benefit, such as a bolt?<br></div><div><br></div><div dir="auto" class="gmail_quote"><div dir="ltr">On Sat, Mar 24, 2018, 8:08 AM ZmnSCPxj via Lightning-dev &lt;<a href="mailto:lightning-dev@lists.linuxfoundation.org" target="_blank">lightning-dev@lists.<wbr>linuxfoundation.org</a>&gt; wrote:<br></div><blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex" class="gmail_quote"><div>Good morning list,<br></div><div><br></div><div>I have decided on a better termination condition for searching for a cyclic superhub.  I re-describe below the algorithm:<br></div><div><br></div><div>Start with `i` = 0 and a set of known nodes, including our own node.<br></div><div><br></div><div>Iterate over `i`:<br></div><div><br></div><div>- Compute hash = H(i || pubkey) for each node. H = RIPEMD160 . SHA256, serialize `i` as a big-endian 32-bit number.  Also compute our_hash = H(i || our_pubkey) for our self.  Put this in a working set.<br></div><div><br></div><div>- Iterate over bits (start with the 7th bit (128) of the first byte):<br></div><div><br></div><div>- - Split the working set into two sets, the matching set and the non-matching set, where the bit in the hash matches the bit in our_hash.<br></div><div><br></div><div>- - If the non-matching set is empty, skip to the next bit.<br></div><div><br></div><div>- - If the matching set is 1 or 2 members, or the non-matching set is 1 or 2 members, merge the two sets together into the working set and exit this loop: we have found a cyclic superhub.<br></div><div><br></div><div>- - else set the working set to the matching set.<br></div><div><br></div><div>- Sort the set according to the hash (treat the hash as a 160-bit big-endian number).<br></div><div><br></div><div>- We should open a channel to the node after us in the sorted list; if we are the last, wrap around to the first node in the list.<br></div><div class="m_3307198568739803642quoted-text"><div><br></div><div>Regards,<br></div><div>ZmnSCPxj<br></div><div><br></div><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block"><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block-user m_3307198568739803642m_-7780462986800537094protonmail_signature_block-empty"><br></div><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block-proton">Sent with <a href="https://protonmail.com" target="_blank">ProtonMail</a> Secure Email.<br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div></div><div class="m_3307198568739803642elided-text"><div>On March 23, 2018 11:29 PM, ZmnSCPxj &lt;<a href="mailto:ZmnSCPxj@protonmail.com" target="_blank">ZmnSCPxj@protonmail.com</a>&gt; wrote:<br></div><div><br></div><blockquote type="cite" class="m_3307198568739803642m_-7780462986800537094protonmail_quote"><div>Good morning list,<br></div><div><br></div><div>Igor Cota has started implementing my idea: <a href="https://github.com/icota/presto/commit/3311785e660d840f0ac8f2e333d0f0097aec980e" target="_blank">https://github.com/icota/<wbr>presto/commit/<wbr>3311785e660d840f0ac8f2e333d0f0<wbr>097aec980e</a><br></div><div><br></div><div>This forced me to actually start thinking more deeply about the algorithm I gave.<br></div><div><br></div><div>1.  We should use a well-used hash algorithm, such as RIPEMD160(SHA256(x))<br></div><div>2.  We should specify the size of `i` - 32-bits, 4 bytes - and indicate its endianness.  Let us use big-endian, as is typical for the rest of Lightning and for network order.<br></div><div>3.  My original algorithm had a significant probability of diverging.  So I respecify the termination condition later.<br></div><div>4.  Our own node should be part of the original working set.<br></div><div>5.  In the decimation loop, start with the highest bit.  This is the 7-index bit (1 &lt;&lt; 7) of the first byte in the 20-byte hash (we treat the hash as a big-endian 160-bit number).<br></div><div><br></div><div>The modified termination condition for the decimation loop is below:<br></div><div><br></div><div>* If the working set is 7 nodes or more, decimate (i.e. match the next bit in the hashes and remove those that do not match our own hash in that bit.).<br></div><div>* If the working set is 3 to 6 nodes, stop, that is now the members of the superhub and we then sort them by hash and decide our position in the superhub (who will channel to us and who we will channel to).<br></div><div>* If the working set is 1 or 2 nodes, fail to form a superhub.  Increment `i` and restart.<br></div><div><br></div><div><br></div><div>Regards,<br></div><div>ZmnSCPxj<br></div><div><br></div><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block"><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block-user m_3307198568739803642m_-7780462986800537094protonmail_signature_block-empty"><br></div><div class="m_3307198568739803642m_-7780462986800537094protonmail_signature_block-proton">Sent with <a href="https://protonmail.com" target="_blank">ProtonMail</a> Secure Email.<br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div>On March 20, 2018 11:19 AM, ZmnSCPxj via Lightning-dev &lt;<a href="mailto:lightning-dev@lists.linuxfoundation.org" target="_blank">lightning-dev@lists.<wbr>linuxfoundation.org</a>&gt; wrote:<br></div><div><br></div><blockquote class="m_3307198568739803642m_-7780462986800537094protonmail_quote" type="cite"><div>Good morning list,<br></div><div><br></div><div>As my award-winning and supremely notable and talked-about-by-the-man-on-<wbr>the-street article &quot;Cyclic Superhubs as Solution Towards Reasonable Lightning Network Topography&quot; points out, cycles are a good way to organize the LN in order to allow easier accessibility to the network for all participants of all kinds.<br></div><div><br></div><div>An issue here is the need for coordination in order to set up cyclic superhubs.  A node acting by itself cannot form cyclic superhubs.<br></div><div><br></div><div>However, one can consider that coordination is needed only to identify peers with which one forms superhubs.  But we already have a system that identifies peers: the node gossip.<br></div><div><br></div><div>So let us assume: All nodes have similar-enough views of the publicly-visible peers on the node graph, as built by node gossip.<br></div><div><br></div><div>I now present an algorithm, which given a set of nodes extracted from node gossip, returns a peer to try connecting and funding a channel to.<br></div><div><br></div><div>--<br></div><div><br></div><div>First, start with a 32-bit number i = 0.<br></div><div><br></div><div>For each node, get hash = H(i || pubkey), where H is some standard hash algorithm, and pubkey is the public key of the node.  Also get our_hash = H(i || our_pubkey)<br></div><div><br></div><div>Perform successive filtering.  While the set is larger than 2 nodes, successively compare high bits.  If the highest bit of hash does not match the highest bit of our_hash, remove it from the set.  If the resulting set is still larger than 2, match the next bit.  When the set is now 2 or 1 node, back off by one bit and add back the most recently removed nodes.  This yields a set that is at least 3 or more nodes.<br></div><div><br></div><div>Sort the nodes according to hash.<br></div><div><br></div><div>Identify where our node is in the sorted list.  Then our candidate is the next node in the list, or if we are the last node, then the first node in the list.<br></div><div><br></div><div>If the candidate already has a channel with us, or has no address info and cannot be found by DNS seed or so on, or cannot be contacted, or refuses incoming channels or some other error, then increment i and try finding again.<br></div><div><br></div><div>---<br></div><div><br></div><div>Even if nodes have some divergence in their own local maps of the network, there is the chance that the difference will be filtered away and the nodes that are &quot;destined&quot; to form a superhub can still find each other in the same superhub.<br></div><div><br></div><div>Assuming all nodes have the same routemap, then all nodes will form their own, non-overlapping superhubs for each i.  However if some nodes get to increment i, hopefully because it already has a channel with its destined candidate peer at one value of i, it can then potentially form superhubs with other nodes that have also reached higher i.<br></div><div><br></div><div>Regards,<br></div><div>ZmnSCPxj<br></div></blockquote><div><br></div></blockquote><div><br></div></div><div><br></div><div>______________________________<wbr>_________________<br></div><div> Lightning-dev mailing list<br></div><div> <a href="mailto:Lightning-dev@lists.linuxfoundation.org" target="_blank">Lightning-dev@lists.<wbr>linuxfoundation.org</a><br></div><div> <a rel="noreferrer" href="https://lists.linuxfoundation.org/mailman/listinfo/lightning-dev" target="_blank">https://lists.linuxfoundation.<wbr>org/mailman/listinfo/<wbr>lightning-dev</a><br></div><div> <br></div></blockquote></div></div></div></blockquote><div><br></div></div></div></blockquote></div><br></div>