As a matter of fact

实际上；说起来

表示「事实上，说起来」的意思，用来引出你想要强调或纠正的真实情况。这里Jon Snow在纠正Sam对他情史的误解，说「其实呢」，自己在这方面跟Sam一样没什么经验。