C# Expressを利用している場合、デバッグの開始を実行するとDebugフォルダに実行ファイルが作成されます。
じゃ、Releaseフォルダに実行ファイルを作成するには。。。？
これはビルドを実行するとできるようになっています。
ビルド時には実行ファイルだけじゃなくpdbファイルもできてしまいます。
このあたりの設定はプロジェクトのプロパティのビルドという部分で変更可能です。
ビルドの設定の説明はこのあたり
http://msdn2.microsoft.com/s4wcexbc(ja-JP,VS.80).aspx
Debugフォルダに作成される実行ファイルとReleaseフォルダに作成される実行ファイルをilのレベルで比較すると、Debugのほうが若干命令が多いことがわかります。
ということで、作成したアプリケーションを配布する場合は、Releaseフォルダに作られる実行ファイルを利用するべきでしょう。
それからReleaseフォルダにできたpdbファイルですが、これがあるとSDKツールのCLRデバッガから実行ファイルを呼び出して、ステップ実行が可能になります。
たぶんそのためだけにあるものじゃないかと思われるので、CLRデバッガを使うような必要がなければ、pdbファイルは生成しないように設定を変更してしまうのもよいかもしれませんね。