В поисках путей повышения скорости серийных военных самолётов конструкторские коллективы в начале 30-х годов построили ряд экспериментальных истребителей и бомбардировщиков. Одним из таких самолётов был многоместный, многоцелевой истребитель Ми-3 (АНТ-21), разработанный конструкторами под руководством А. Н. Туполева.

Первый вариант истребителя имел фюзеляж овального сечения с гладкой, а не гофрированной обшивкой, как у других машин этого же КБ. Кабины самолёта были закрытые. Капоты радиаторов использовались в качестве обтекателей для убранных колес шасси. Все это значительно улучшило аэродинамику. С такими же двигателями М-17, как и на серийном Р-6, скорость самолёта Ми-3 оказалась значительно выше, при этом крыло и оперение ещё имели гофрированную обшивку.

После испытаний самолёта на некоторых режимах осенью 1933 года выяснилось, что хвостовое оперение разнесенного типа с рулями направления на концах стабилизатора для этой машины не подходит. Его переделали на оперение обычного типа с высоким килем. Одновременно гофрированную обшивку заменили всюду на гладкую. Был внесен ряд небольших улучшений и в фюзеляж. В этом варианте истребитель, вес конструкции которого достиг 3800 кг, а взлётный вес превышал 5200 кг, показал скорость 351 км/час, потолок — 7885 м.

Многие элементы конструкции Ми-3 в дальнейшем были использованы при создании скоростного бомбардировщика АНТ-40.