I&#39;m a big proponent of a testing project.<div><br></div><div>I think if one could self organize that Gavin and team wanted to bless we could put up some BTC as bounties or funding. We won&#39;t have our heads around the foundation budget for a few more weeks, but self-organization is often slower than budgeting. :)</div>

<div><br></div><div>This is just my opinion, but I would like very, very much to move the current specification into unit tests so that anyone could validate their alternate bitcoin implementation. This is a lot of work, some of which has been done, much of which hasn&#39;t. </div>

<div><br></div><div>So, my two cents, plus an offer to bring it up at our next budgeting meeting.</div><div><br></div><div>Peter</div><div><br></div><div><div><br><div class="gmail_quote">On Mon, Oct 1, 2012 at 7:28 AM, steve <span dir="ltr">&lt;<a href="mailto:steve@mistfpga.net" target="_blank">steve@mistfpga.net</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<br>
</div><div class="im">On 01/10/2012 14:52, Arklan Uth Oslin wrote:<br>
&gt; Hi guys.<br>
&gt;<br>
&gt; So, as I mentioned on the <a href="http://bitcointalk.org" target="_blank">bitcointalk.org</a> forums thread about the<br>
&gt; foundation, I want to get involved in the QA side of bitcoin<br>
&gt; development. I&#39;ve done functional testing in the video game<br>
&gt; industry for years.<br>
<br>
</div>Nice one, I worked in games for quite a few years. (before getting<br>
into finance then pentesting) there are about 6 keen testers now.<br>
maybe we should get a bitcoin-test mailing list, where we can discuss<br>
stuff without disturbing the dev team.<br>
<div class="im"><br>
&gt; I&#39;ve read all the messages in this thread, but I&#39;m left unclear<br>
&gt; how I can most effectively and quickly being helping out. Could I<br>
&gt; get a bit of a directional nudge?<br>
<br>
</div>Great question... for me I feel structure is the most important thing<br>
to sort out first.  However we desperately need detailed testcases for<br>
the release of a new version. - Not too much on the change log stuff,<br>
more on the noddy stuff (as gavin points out below), downloading and<br>
making sure it works on a non dev machine, make sure the wallet isnt<br>
overwritten, etc.) doing games qa I imagine this would be an ideal<br>
place for you to start.  I have a MSDN and TechNet licence so if you<br>
need some reference ms virtual machines I can help you out.<br>
<br>
However we need some testcase software.  Please check out what was<br>
done on bettermeans for the stuff I was planning out...<br>
<br>
It details everything from recompense and testcases. bettermeans kinda<br>
died a death though...<br>
<br>
check out:<br>
<br>
Bitcoin over all-<br>
<a href="https://secure.bettermeans.com/projects/4180/wiki/Page_index" target="_blank">https://secure.bettermeans.com/projects/4180/wiki/Page_index</a><br>
discussion<br>
<a href="https://secure.bettermeans.com/projects/4180/boards" target="_blank">https://secure.bettermeans.com/projects/4180/boards</a><br>
<br>
0.7<br>
<a href="https://secure.bettermeans.com/projects/4256/boards" target="_blank">https://secure.bettermeans.com/projects/4256/boards</a><br>
and<br>
<a href="https://secure.bettermeans.com/projects/4256/wiki" target="_blank">https://secure.bettermeans.com/projects/4256/wiki</a><br>
<br>
I still have the testcases, but until we get some proper testcase<br>
software I am loathed to publish them in a half arsed format. (they<br>
worked well on bettermeans, then just vanished one day...) what<br>
testcase software are you familiar with?<br>
<br>
apart from that, what do you feel you can do for the project? how long<br>
have you been involved in bitcoin?  It may well be worth reading up<br>
all the dev stuff on the wiki so you can get you head around how the<br>
bitcoin protocol is different from the daemon and qt client. What do<br>
you think you can and will enjoy doing? What is your skill set in<br>
regard to networking, crypto and operating systems. (not that you need<br>
any, in any we still want and need you. :)<br>
<br>
there really is room for you to do whatever role you want, and as<br>
little or as much as you want - however funding is now a very tricky<br>
issue. so much so that I am not sure I want anything to do with<br>
it(distribution of coin based on work.). - I just paid for some logo<br>
spec work out of my own pocket (for example).  I have some testers i<br>
know irl who are willing to work for coin.<br>
<br>
NOTE: This response has nothing to do with the bitcoin foundation.  I<br>
am not a member of the foundation. I do not speak for them or even<br>
probably with them. I am still trying to work out how much qa the<br>
foundation should be responsible for, and/how it is supposed to work.<br>
I think the games cert process would be ideal for this.  This however<br>
this a discussion that probably wont have my involvement.  (personally<br>
I believe that the foundation should publish requirements with example<br>
code and testcases for each aspect of the reference client. (on<br>
reference platforms - I do not expect many to agree with this though)<br>
<br>
As a side note, what happens to the donations to the bitcoin testing<br>
project? do they get moved over to the foundation? this question is<br>
bigger than this email. as far as I know they are all on an address<br>
Gavin holds. Actually I would like to be involved in any discussions<br>
that would impact QA, does this mean I need to join the foundation or<br>
just go lone wolf?<br>
<br>
tbh I dont really understand foundations.  I always thought they were<br>
just a tax dodge.<br>
<br>
Sorry for the long message. :)<br>
<div class="im"><br>
&gt;<br>
&gt; Arklan<br>
&gt;<br>
&gt; ---------- As long as there is light, the darkness holds no fear.<br>
&gt; And yet, even in the deepest black, there is life. - Arklan Uth<br>
&gt; Oslin<br>
&gt;<br>
&gt; I want to leave this world the same way I came into it: backwards<br>
&gt; and on fire. - Arklan Uth Oslin<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Sat, Sep 29, 2012 at 12:26 PM, steve &lt;<a href="mailto:steve@mistfpga.net">steve@mistfpga.net</a>&gt;<br>
&gt; wrote:<br>
&gt;<br>
</div><div><div class="h5">&gt; Hi Gavin,<br>
&gt;<br>
&gt; Sorry for the delayed response, I wanted to take a couple of days<br>
&gt; to reflect on your email.<br>
&gt;<br>
&gt; On 26/09/2012 19:09, Gavin Andresen wrote:<br>
&gt;<br>
&gt;<br>
&gt; And their are other methods too.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; The GUI::Test package for perl will allow this to be greatly<br>
&gt; automated. (I have done this before on the localisation of<br>
&gt; photoshop.)<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; this why we need detailed testscripts and plans.  so we know what<br>
&gt; has and hasnt been done. The more boring the task the more work<br>
&gt; that needs to go into testcase development.  This is the area I see<br>
&gt; as my greatest failing last time.  I have a large number of virtual<br>
&gt; machines and should have at least this work.  But we need very<br>
&gt; detailed testcases.  with decent testplans just downloading the<br>
&gt; software, syncing the block chain, syncing an existing wallet,<br>
&gt; rescanning the blockchain and verifying the balance would cover a<br>
&gt; large number of tests.  The idea behind having lots of very<br>
&gt; specific testcases is you get to see what tests have not been run.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; I understand your concern, however I have taken a couple of days<br>
&gt; to reflect on this and I still strongly feel that in order to make<br>
&gt; sure that this sticks, and is still useful in 1 years time we need<br>
&gt; to lay proper foundations. Those foundations are not word<br>
&gt; documents, spreadsheets, etc.  they are selecting the right tools<br>
&gt; for the job.<br>
&gt;<br>
&gt; We can gain so much benefit from using 3rd party software.<br>
&gt; (bettermeans would rock if it wasnt rotting)<br>
&gt;<br>
&gt; I am sure you could do your coding work just using vi, but an sdk<br>
&gt; makes it much easier and allows you to work in a more productive<br>
&gt; manner.<br>
&gt;<br>
&gt; I have had a couple of off list emails with some testers and they<br>
&gt; also feel that it is very important to make sure we have a sound<br>
&gt; foundation (mantis is so much more than just a bug reporting tool,<br>
&gt; I see the bug reporting functionality as secondary to the main test<br>
&gt; run functionality - but it doesnt have to be mantis based, we do<br>
&gt; need workflow and testcase software though - and proper software<br>
&gt; for this is much better than just a massive google doc.) however I<br>
&gt; am checking out some other software that has been recommended.  It<br>
&gt; will be very hard to change &#39;the process&#39; once we have something we<br>
&gt; are used too (just look at the current resistance) I promise<br>
&gt; nothing will change for the dev team.  But test does need other<br>
&gt; tools, and processes.<br>
&gt;<br>
&gt; If you feel that strongly that I am going about this the wrong way,<br>
&gt; I am happy to step back and let someone else sort it out (I will<br>
&gt; still do all the testing I possibly can). I would feel that this<br>
&gt; would be a real shame and we have the chance to setup requirements<br>
&gt; to functionality to tests all with traceability. why not do it<br>
&gt; right from the start?<br>
&gt;<br>
&gt; I will open up my vps&#39; somepoint over the next few days and you<br>
&gt; can see what I mean. I will setup a fake git project, and sort out<br>
&gt; the interactions.<br>
&gt;<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
</div></div><div class="im">&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt;<br>
&gt;&gt;<br>
How fast is your code?<br>
&gt;&gt; 3 out of 4 devs don\\\&#39;t know how their code performs in<br>
&gt;&gt; production. Find out how slow your code is with AppDynamics<br>
&gt;&gt; Lite. <a href="http://ad.doubleclick.net/clk;262219672;13503038;z" target="_blank">http://ad.doubleclick.net/clk;262219672;13503038;z</a>?<br>
&gt;&gt; <a href="http://info.appdynamics.com/FreeJavaPerformanceDownload.html" target="_blank">http://info.appdynamics.com/FreeJavaPerformanceDownload.html</a><br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Bitcoin-development mailing list<br>
&gt;&gt; <a href="mailto:Bitcoin-development@lists.sourceforge.net">Bitcoin-development@lists.sourceforge.net</a><br>
&gt;&gt; <a href="https://lists.sourceforge.net/lists/listinfo/bitcoin-development" target="_blank">https://lists.sourceforge.net/lists/listinfo/bitcoin-development</a><br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
</div>&gt; ------------------------------------------------------------------------------<br>
&gt;<br>
&gt;<br>
Got visibility?<br>
&gt; Most devs has no idea what their production app looks like. Find<br>
&gt; out how fast your code is with AppDynamics Lite.<br>
&gt; <a href="http://ad.doubleclick.net/clk;262219671;13503038;y" target="_blank">http://ad.doubleclick.net/clk;262219671;13503038;y</a>?<br>
<div class="im">&gt; <a href="http://info.appdynamics.com/FreeJavaPerformanceDownload.html" target="_blank">http://info.appdynamics.com/FreeJavaPerformanceDownload.html</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________ Bitcoin-development<br>
&gt; mailing list <a href="mailto:Bitcoin-development@lists.sourceforge.net">Bitcoin-development@lists.sourceforge.net</a><br>
&gt; <a href="https://lists.sourceforge.net/lists/listinfo/bitcoin-development" target="_blank">https://lists.sourceforge.net/lists/listinfo/bitcoin-development</a><br>
&gt;<br>
<br>
</div><div class="im">-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2.0.17 (MingW32)<br>
Comment: Using GnuPG with Mozilla - <a href="http://www.enigmail.net/" target="_blank">http://www.enigmail.net/</a><br>
<br>
</div>iQEcBAEBAgAGBQJQaaieAAoJEFvEB9dQFvtQUi0H/3Eh72DqxwBt6AeNos/hJNqQ<br>
ZowMNFRupJQM301EJ7SPQmcnVuc3RF2Jw//ckpAqdpkqhHCgGO9HX/q+Ic2A9erQ<br>
CfKbUOwQgqKuLQTZ8eT5UMh969Uw8PMazo711d2I23etU0VhSK/MvjB5IiYIq5fB<br>
RJdCEluwvACaiftqfm4RA9HXXJGMnsZtlSWjVQCkg2FyYZKfpctEFdGCg6R8IaP7<br>
ypyglR7TfygcjhUMHeWkQQCP2m2gBOHpx9H99uNBosF+6pLBhCiGUrwVkl8HUiiN<br>
4YfhsvoRQ0BWNgvO9wH1H4EyyZtJsE7S926BNkhd4uewWGV/qe8gML+uJRstPDg=<br>
=L66i<br>
-----END PGP SIGNATURE-----<br>
<br>
------------------------------------------------------------------------------<br>
Got visibility?<br>
Most devs has no idea what their production app looks like.<br>
Find out how fast your code is with AppDynamics Lite.<br>
<a href="http://ad.doubleclick.net/clk;262219671;13503038;y" target="_blank">http://ad.doubleclick.net/clk;262219671;13503038;y</a>?<br>
<div class="HOEnZb"><div class="h5"><a href="http://info.appdynamics.com/FreeJavaPerformanceDownload.html" target="_blank">http://info.appdynamics.com/FreeJavaPerformanceDownload.html</a><br>
_______________________________________________<br>
Bitcoin-development mailing list<br>
<a href="mailto:Bitcoin-development@lists.sourceforge.net">Bitcoin-development@lists.sourceforge.net</a><br>
<a href="https://lists.sourceforge.net/lists/listinfo/bitcoin-development" target="_blank">https://lists.sourceforge.net/lists/listinfo/bitcoin-development</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><hr style="font-family:Times;font-size:medium;border-right-width:0px;border-bottom-width:0px;border-left-width:0px;border-top-style:solid;border-top-color:rgb(204,204,204);margin:10px 0px">

<p style="font-size:medium;font-family:Helvetica,sans-serif;line-height:1em"><span style="color:rgb(50,90,135);text-transform:uppercase"><img src="http://coinlab.com/static/images/email_logo.jpg" align="right" alt="CoinLab Logo" width="130">PETER <span style="font-weight:bold">VESSENES </span><br>

<span style="color:rgb(96,58,23);font-size:0.8em">CEO</span></span></p><p style="font-size:medium;font-family:Helvetica,sans-serif;line-height:1em"><span style="color:rgb(96,58,23);font-size:0.9em"><strong><a href="mailto:peter@coinlab.com" style="text-decoration:none;color:rgb(96,58,23)" target="_blank">peter@coinlab.com</a> </strong> /  206.486.6856  / <span style="font-size:0.7em;text-transform:uppercase">SKYPE:</span> vessenes </span><br>

<span style="color:rgb(96,58,23);font-size:0.7em;text-transform:uppercase">811 FIRST AVENUE  /  SUITE 480  /  SEATTLE, WA 98104</span></p><br>
</div></div>