brown

（インフォーマル）下品な言葉 / 下劣な言葉（ここではスラング）(n./adj.)

ここでの`handle your brown`はスラングで、自分の口から出る下品な言葉や気まずい言葉（色の意味ではありません）をコントロールすることを指します。このような使い方は、口語で遠回しな表現やユーモラスな表現として時折使われます。