Shulchan Arukh, Orach Chayim 200

דין המפסיק כדי לברך. ובו ב סעיפים:שלשה שאכלו כאחד אחד מפסיק על כרחו לב' ועונה עמהם ברכת זימון ואפילו לא רצה להפסיק מזמנין עליו בין עונה בין אינו עונה כל שהוא עומד שם אבל שנים אין חייבים להפסיק לאחד הלכך אין חיוב זימון חל עד שיתרצו להפסיק לאחד ולברך ואם לא רצו להפסיק וזימן הוא עליהם לא עשה כלום ואם לא רצו להפסיק אף הוא אינו רשאי לברך ולצאת לשוק עד שיגמרו השנים ויזמן עליהם שהרי כבר נתחייב הוא בזימון והיאך יברך בלא זימון:

Laws of One Who Interrupts in Order to Bless — 2 paragraphs. Three people who ate together: one is obligated, even against his will, to interrupt for the two others and recite with them the zimun blessing. Even if he does not want to interrupt, they may perform zimun with him whether he responds or not, as long as he is still present. But two people are not obligated to interrupt for one, therefore the obligation of zimun does not take effect until they agree to interrupt for the one and to bless. If they do not wish to interrupt and he performs zimun with them, he accomplishes nothing. And if they do not wish to interrupt, he is also not permitted to bless and go out to the market until the two have finished and he performs zimun with them — for he has already become obligated in zimun, so how can he bless without zimun?

אינו צריך להפסיק אלא עד שיאמר ברוך שאכלנו משלו וכו': הגה וי"א שצריך להפסיק עד שיאמר הזן את הכל וכן נוהגין (הרא"ש ותו' והר"י בשם בה"ג והטור) ואם היה דעתו לחזור ולאכול פת אע"פ שלא אכל אח"כ כשרוצ' לברך מברך מתחיל' ברכת הזן וכ"ש אם חזר ואכל (הר"י פרק שלשה שאכלו) (טור) וחוזר וגומר סעודתו בלא ברכה בתחילה:

He only needs to interrupt until they say: "Blessed is He from Whose bounty we have eaten," (baroukh cheakhalnou mitouvo) etc. Rema: And some say that he must remain until they say: "Who nourishes all," (hazon et hakol) and this is the common custom (Rosh, Tosafot, R’ Yitzḥak in the name of the Baal HaHalakhot Gedolot, and the Tur). And if his intention was to return and eat bread, even if in the end he did not eat again — when he wishes to recite Birkat Hamazon, he begins from the blessing HaZan ("Who nourishes"), and all the more so if he actually did return and eat (R’ Yitzḥak, chapter "Three Who Ate") (Tur), and he may resume and finish his meal without repeating the opening blessing.