With Sympathy, Ministry'nin ilk albümüdür. Albüm, Ministry'nin tek üyelerinin Alain Jourgensen ve Stephen George olduğu 1983 yılında Arista Records aracılığı ile piyasaya sürülmüştür. Arista Records'un idaresi, albümün yapımı sırasında grubun solisti Jourgensen'i synthpop stili bir albüm çıkarmaya zorlamıştır. Bu tarz, grubun kariyeri boyunca geliştirdiği sert tarzla büyük oranda çelişmektedir. Mamafih, kimi kaynaklar, Jourgensen'in 1980'lerde grubun müzikal tarzını değiştiren "hardcore" müziği keşfedişi ile bir "synthpop" albümü yapmış olmaktan utandığını ifade etmektedir.[1] Albüm, Ministry'nin Arista Records'tan yayımladığı tek albüm olmuştur.
Albümün üç bonus şarkı ile yeniden yayımlanması planlansa da, çıkış tarihi ertelenmektedir.[2]