Shulchan Arukh, Orach Chayim 129

באיזה תפלות נושאים כפים. ובו ב סעיפים:אין נשיאת כפים אלא בשחרי' ומוסף ובנעילה ביום שיש בו נעילה כמו ביום הכפורים אבל לא במנח' משום דשכיחא שכרות באותה שעה שמא יהא הכהן שכור וגזרו במנחה של תענית אטו מנחת שאר ימים אבל בתענית שאין בו נעילה הואיל ותפלת המנחה סמוך לשקיעת החמה היא דומה לתפלת נעילה ואינה מתחלפת במנח' של שאר ימים הילכך יש בה נשיא' כפים והמנהג שלנו כבר נתבאר לעיל בסי' קכ"ח:

During Which Services We Lift the Hands [Perform the Priestly Blessing], Containing 2 S'ifim:We only lift the hands [perform the Priestly Blessing] during Shacharit and Mussaf, as well as during N'ilah on a day that has N'ilah, such as Yom Kippur; but not during Mincha, since it is drinking [alcohol] is likely [by] that time, and perhaps the Kohen would be drunk. They decreed [similarly regarding] during Mincha on a fast day because of Mincha on other days (i.e., lest people come to think that Birkat Kohanim during a regular Mincha is permitted). But on a fast day that does not have N'ilah, since the Mincha prayers are said close to [the time of] the setting of the sun, it's similar to the N'ilah prayers and will not be confused with Mincha on other days, therefore they do perform Birkat Kohanim. And our custom has already been explained above in Siman 128.

כהן שעבר ועלה לדוכן ביום הכפורים במנחה כיון שהדבר ידוע שאין שם שכרות הרי זה נושא את כפיו ואין מורידין אותו מפני החשד שלא יאמרו פסול הוא ולכך הורידוהו: הגה ולכן אומרים במנחה ביום כפורים אלהינו ואלהי אבותינו אע"ג דאין ראוי לנשיאת כפים מכל מקום הואיל ואם עלה לא ירד מקרי קצת ראוי [הגהות מיימוני] וכן נוהגין במדינות אלו אע"פ שיש חולקים:

A Kohen who transgressed and went up to the platform [to perform Birkat Kohanim] on Yom Kippur during Mincha - since it's known that no one is drunk then, he may lift his hands [to perform Birkat Kohanim], and they [the congregation] may not bring him down because of any suspicion - in that people shouldn't say that he was unfit [to perform Birkat Kohanim] and that's why they brought him done. Gloss: Therefore, during Mincha on Yom Kippur, they say "Our G-d, and the G-d of our Forefathers...", even though it's not a time that's fitting to perform the lifting of the hands; nevertheless, since if [a Kohen] did go up, he does not come down, it's considered to be somewhat of a fitting time (Hagahot Maimoni). And such is what we practice in these lands, even though there are some who disagree.