As a matter of fact

實際上；說起來

表示「事實上，說起來」的意思，用來引出你想要強調或糾正的真實情況。這裡Jon Snow在糾正Sam對他情史的誤解，說「其實呢」，自己在這方面跟Sam一樣沒什麼經驗。