Однако не этот фактор повлиял на пусть и постепенное, но расширение круга задач особых отделов, возвращение им права вести борьбу со шпионами и контрреволюционными проявлениями. Сложности восстановления и реконструкции народного хозяйства, неуклонное усиление диктатуры большевистской партии, всевластия партийной номенклатуры, а затем и лично И. Сталина объективно вызывали опасения в наличии полной политической лояльности войск, их командных кадров. Полагаться в этом вопросе только на комиссаров и помполитов было по крайней мере неразумно, а то и опасно. Неслучайно, что Особый отдел ГПУ — ОГПУ зачастую адресовал свои докладные записки напрямую в ЦК РКП(б) — ВКП(б), а с конца 1920-х годов и лично Генеральному секретарю, и лишь вторые экземпляры поступали председателю РВСС и наркому по военным и морским делам К. Ворошилову, а нередко адресовались заместителю председателя РВСС И. Уншлихту, более близкому чекистам в плане положительных оценок их усилий.
Особисты не останавливались и перед подачей информации о действиях некоторых крупных политработников. Это проявилось особенно ярко в деле «внутриармейской оппозиции», представители которой позволили себе усомниться в правильности решений Политического бюро ЦК ВКП(б) по проведению в жизнь принципа единоначалия или, как минимум, темпов его внедрения.
Начиная с середины 1920-х годов особые отделы уделяли пристальное внимание троцкистской оппозиции среди политработников и командиров РККА. На этом участке работы большое значение приобрела взаимная информация с секретными (позднее секретно-политическими) отделами органов ОГПУ, которые являлись головными в борьбе с оппозиционными элементами. Ввиду наличия партийных установок на недопущение фракционной деятельности в войсках, особые отделы ограничивались давлением на командование с целью увольнения оппозиционеров с военной службы. Исключение из общего правила, и то по специальным решениям ЦКК ВКП(б), составляли известные участники Гражданской войны, такие как В. Примаков и В. Путна.
Серьезнейшее влияние на деятельность органов ОГПУ в войсках оказало резкое изменение политики на селе, проявившееся в виде принудительных хлебозаготовок, коллективизации и уничтожении кулачества как класса. Чекисты приняли самое активное участие в проводимых командованием чистках личного состава частей и учреждений РККА от «социально-опасных и классово чуждых элементов». Особое внимание обращалось на выявление повстанческих намерений. По вскрытым фактам незамедлительно принимались самые решительные меры, вплоть до арестов военнослужащих и осуждение их во внесудебном порядке. В результате работы, проделанной совместно с командованием и политорганами, удалось не допустить массового участия красноармейцев и представителей начсостава в каких-либо вооруженных выступлениях, а тем более — перехода воинских подразделений на сторону повстанцев, захвата штатного и складированного оружия. В конечном итоге можно утверждать, что особисты, а также подразделения аппаратов ОГПУ на местах, обслуживавшие переменный состав территориальных частей и соединений РККА, устранили угрозу (если не опасность — то совершенно реальную угрозу) большевистскому режиму и советскому строю, удержали страну от новой кровопролитной гражданской войны. Ведь в тот период армия состояла более чем на 70 % из крестьян, далеких от положительного восприятия и поддержки политики ВКП(б) на селе.
Коллективизация и борьба с кулачеством сказалась не только на настроениях рядовых красноармейцев и младших командиров. Многие представители старшего и даже высшего начкомсостава высказывали сомнения в правильности проводимых мероприятий. В условиях ожидания массовых антисоветских восстаний, перерастания их в масштабную гражданскую войну, которой непременно захотели бы воспользоваться внешние силы, проявились негативные настроения среди бывших офицеров и генералов. Большинство из них к концу 1920-х годов проходили службу не в строевых частях, а в штабных структурах и военно-учебных заведениях.
Активизировался процесс их группирования, с резко критических позиций обсуждалось положение в стране, снижалась активность в работе. Все это было расценено как признаки организованной контрреволюционной и вредительской деятельности и с неизбежностью подводило к принятию со стороны органов ОГПУ упреждающих репрессивных мер. Характерным примером здесь может служить дело «Весна», в ходе которого было арестовано свыше трех тысяч бывших офицеров и генералов, включая видных представителей военной науки, профессорско-преподавательского состава. Во многих случаях имевшиеся в делах материалы искусственно усиливались и даже фальсифицировались. Против этого выступила группа высокопоставленных чекистов, имевших прямое отношение к работе в военной среде. Решением Политбюро ЦК ВКП(б) они были сняты со своих постов, а отдельные — вообще уволены из органов госбезопасности. Этот факт нельзя недооценивать, поскольку их место заняли люди, готовые не возражая выполнять любые указания высших партийных инстанций. Путь к феномену под названием «1937 год» был открыт.
В сентябре 1931 г. на основании решения Политбюро Президиум ЦИК СССР изменил один из пунктов Положения об Особом отделе ОГПУ, исключив право Реввоенсовета СССР давать ему задания и контролировать ход их выполнения. Поскольку этим правом со времен Л. Троцкого военные практически не пользовались, то становится ясным истинный смысл появления постановления Президиума ЦИК СССР: контролировать деятельность особых органов ОГПУ (так же как и всего ОГПУ) может только высшее партийно-государственное руководство страны.
В 1920-х — первой половине 1930-х годов чекисты уделяли особое внимание таким важнейшим процессам, как военная реформа и реконструкция Вооруженных сил СССР. Через оперативные и иные возможности они детально изучали, а затем информировали высшие партийные инстанции о возможных угрозах при переходе к территориально-милиционной системе комплектования и обучения войск, о причинах (прежде всего субъективного характера) срывов в боевой и политической подготовке частей и соединений РККА, о недостатках в производстве и оснащении армии и флота новыми видами оружия и боевой техники, о состоянии мобилизационных запасов и т. д. Особый отдел ОГПУ во многих случаях выступал инициатором рассмотрения негативных явлений в жизнедеятельности войск на заседаниях Реввоенсовета СССР, Правительства страны, Комитета обороны при Политбюро и СНК, а также на самом Политбюро ЦК ВКП(б), где отстаивал необходимость принятия соответствующих решений. Чекисты вели борьбу с очковтирательством в военном ведомстве, не боясь затрагивать и действия крупных армейских чинов. Много внимания уделялось выявлению хозяйственных преступлений, фактов бесхозяйственного отношения к хранению и использованию военного имущества, материалы передавались в военную прокуратуру для проведения расследований и привлечения виновных к ответственности. По наиболее вопиющим фактам Особый отдел ОГПУ сам возбуждал уголовные дела.
В условиях перманентной нехватки ресурсов (прежде всего финансовых) органы ОГПУ многое сделали для вскрытия намерений и выяснения обстоятельств реальных фактов взяточничества и разбазаривания ассигнований на оборонные нужды. Пример контрактов с немецкой фирмой «Юнкерс» в рамках концессионного договора — яркое подтверждение сказанному.
Свою роль особые отделы сыграли и в реализации на практике выдвинутого еще в середине 1920-х годов тогдашним председателем РВСС и военным наркомом М. Фрунзе лозунга-призыва о выдвижении «краскомов» — командиров, окончивших уже советские военно-учебные заведения. В этом вопросе взгляды ответственных работников ОГПУ совпадали со взглядами «революционных генералов» РККА, включая и М. Тухачевского. В реально существовавшей борьбе «краскомов» и военспецов из числа бывших офицеров и генералов чекисты однозначно стояли на стороне первых и своими методами помогали карьерному росту военных кадров из социально близкой им среды (рабочих и крестьян). К сожалению, в этом вопросе сотрудникам ОГПУ не удалось (если это вообще было возможно в условиях диктатуры пролетариата, а фактически — большевистской партии) пройти между Сциллой и Харибдой, т. е. выдержать некий баланс между политически значительно более лояльными командирами советской школы и профессионально значительно лучше подготовленными «военспецами». Политические ориентиры и идеологические установки предопределили результат. Объединенными усилиями, при видимом доминировании ОГПУ, ответственным военным работникам и чекистам удалось свести на нет роль «бывших» в управлении частями и учреждениями РККА и РККФ. Их уделом стала, в основном, сфера военно-учебных заведений и военных кафедр гражданских вузов. После этого политическая лояльность командного состава армии и флота уже не вызывала серьезного беспокойства у высшего партийно-государственного руководства страны.