You shouldn’t have.
Should는 shall의 과거 형이지만 shall의 과거 형으로 쓰이는 경우는 극히 드물고 must나 ought to처럼 독립된 하나의 조동사로 쓰이는 경우가 훨씬 많습니다. 따라서  should는 -하여야 한다, --하는 것이 당연하다라는 뜻으로 많이 쓰인다는 것입니다.
 

You should do that thing. - 너는 그 일을 해야 한다.

You should try. - 해 보는 것이 좋다.

You should apologise for your rudeness. - 너의 버릇 없는 점을 사과 해야 한다.

You shouldn’t speak so loud. - 그렇게 큰 소리로 이야기 하는게 아니다.

Should I wait for her to come back? - 그녀가 돌아오기를 기다려야 하나요?

We should study harder, shouldn’t we? - 우리는 더욱 열심히 공부해야 하겠네요.

Should+현재 완료형 (should have+ 과거분사)이 되면 과거에 하지 않은 것을 비판하는 표현이 됩니다. 따라서  -- 했어야 하는데, 라는 뜻이 되기 때문에 실제로는 하지 않았음을 나타내게 됩니다.

You should really have been more careful. - 너는 좀 더 조심했어야 했다.

You should have seen the sunrise. - 그 해돋이를 봤어야 하는데.

I should not have come. - 오지 말았어야 했는데.

Should I have gone to the party yesterday? - 나는 어제 그 파티에 과연 가야 하는 것이었을까? (실제로는 갔었음)

상대방으로부터 선물을 받았을 때, 기분은 좋지만 말로는 ‘뭘 이런 걸 다----’라고 우리는 겸손해 합니다. 이럴 때 영어로는 You shouldn’t have.라고 합니다.

I will buy you a drink as you taught me something. - 네가 가르쳐 준 대가로 내가 한잔 사지.

Oh really? You shouldn’t have. - 오 정말? 그럴 필요 없는데.

I brought you some bread. It is homemade. - 너 줄려고 빵 좀 가져왔어. 집에서 만든거야.

Oh, you shouldn’t have. Come on in. Would you like to have a cup of coffee? - 오 뭘 이런걸 다. 들어 와. 커피 한잔 할래?

I think I owe you an apology.
Owe 는 빚지다 라는 뜻을 갖고 있습니다. Apology는 사과란 뜻이므로 owe + 사람 + apology는 -에게 사과할 게 있다라는 뜻이 됩니다.

I think I owe you an apology. - 너한테 사과할 게 있는 것 같구나.

I think you owe him an apology. - 너 그에게 사과할 게 있는 것 같다.

I owe an apology. I’m really sorry I freaked out like that. - 사과할 게 있습니다. 그런 식으로 화를 내서 정말 죄송합니다.

It’s ok. If I were you, I would have freaked out, too. - 괜찮아. 내가 너였더라도 화를 냈을거야.