Shulchan Arukh, Orach Chayim 165

דין העושה צרכיו ורוצה לאכול. ובו ב סעיפים:העושה צרכיו ורוצה לאכול יטול ב' פעמים על הראשונים מברך אשר יצר ועל השניה מברך על נט"י ואם אינו רוצה ליטול אלא פעם אחת לאחר ששפך פעם אחת על ידיו ומשפשף יברך אשר יצר ואחר כך בשעת ניגוב יברך על נט"י:

One who defecates and subsequently wants to eat should wash his hands twice, and say Asher Yatzar on the first washing and Al Netilat Yadayim on the second washing. And if one only wants to wash his hands once, after he washes he should say the blessing of Asher Yatzar, and afterward at the time he dries [his hands] he should say the blessing of Al Netilat Yadayim.

אם רבים מסובין בסעודה הגדול נוטל ידיו תחלה והרא"ש היה רגיל ליטול באחרונה שלא להפסיק ושלא לדבר:

If many people are at a meal, the most important one should wash first. And the Rosh was careful to wash last in order that he should not have a pause, and he should not speak [between washing and eating bread].