get him down

〜を落ち込ませる / 〜を意気消沈させる

「get someone down」は句動詞で、誰かを落胆させたり、不機嫌にさせたりする意味です。ここではホルトが、ボイルは逆境に屈せず、「逆境に打ちのめされない」（「doesn't let adversity get him down」）と言っています。