Visual Studioを購入せずにC#をコンパイル、実行するには.Net FrameWork SDK1.1をインストールする必要があります。
.NET Framework 1.1 再頒布可能パッケージをインストールします。
既にインストールされている場合もあります。私のPCではC:¥WINDOWS¥Microsoft.NET¥Framework¥v1.1.4322¥csc.exeがありました。
ここにパスを通したらcsc ファイル名でコンパイル可能です。エラーがなければexeが作成されます。

C#のファイルの拡張子はcsです。以下a.csファイルです。

using System;

class a{
    public static void Main(){
        Console.WriteLine("test");
    }
}

上記のファイルをコンパイルします。

C:¥>csc.exe a.cs
Microsoft(R) Visual C# .NET Compiler version 7.10.6001.4
for Microsoft(R) .NET Framework version 1.1.4322
Copyright (C) Microsoft Corporation 2001-2002. All rights reserved.


C:¥>

コンパイルするとエラーが出ていないのでa.exeが作成され、実行すると以下のように標準出力されます。

test