MB3 52b 273:4

(ד) בפנה אחרת - אבל אם נמלך לאכול בחדר אחר אף שהוא באותו בית צריך לחזור ולקדש כיון שלא היה דעתו לזה בעת שקידש: