題主40歲了，在縣直單位還是科員一枚，基本可以判斷題主綜合素質、外力背景一般。作為在鄉鎮工作過11年、當過黨委委員的老鄉鎮，我建議題主不要去鄉鎮折騰了，繼續守住現在崗位，過好每一天即可。理由如下：
①鄉鎮工作比縣城事業編繁忙很多。我在鄉鎮工作過多年，對此深有體會。鄉鎮機構部門比較少，人員素質參齊不齊，干活的人掰著手指都數得清楚。從年頭到年尾，不僅有春耕秋收、防火防汛、安全生產、招商引資、六保六穩、綜治維穩、土地征收、房租拆遷、新農村建設等，還有精準扶貧、駐村走訪、檢查督導、迎接檢查等，上級所有工作都要通過鄉鎮這一層級來落實、來檢驗。工作通常是連軸轉，五加二白加黑，星期六保證不休息星期天休息不保證是常態。題主到鄉鎮，極有可能是副鎮長，屆時分管幾個部門，很多工作都由得你牽頭組織、牽頭負責，工作忙、責任大不必說，關鍵是你得學會與人民群眾打交道，稍有不慎，就會釀成大錯。還有，鄉鎮工作加班加點是常態，五加二白加黑，星期六保證不休息、星期日休息不保證，我在鄉鎮鎮工作時，10天年假，平均休不了3天，幾乎天天加班。
②鄉鎮工作條件比縣城艱苦很多。大多數鄉鎮，離縣城比較遠，公路坑坑洼洼，有的行政村還要爬山涉水，交通極為不便。鄉鎮學校條件配置不好，老師整體水平沒有縣城高，學習氛圍更是沒法比，優質教育資源極度匱乏，如何解決小孩上學是個大問題。鄉鎮衛生院層次低、條件差、設備缺，醫療技術與縣城相比，差距比較大，嚴重一點的發燒感冒都得送往縣城。特別是題主家已經安在縣城的，注定與老婆小孩兩地分居，好一點每個星期才見上一面，忙起來一兩個月都見不上一面。在小孩成長的關鍵時期，缺少父母親的陪伴，對小孩來說是個極大的損失，對自己來說也是一個終生難以彌補的遺憾。特別是在大家都在重視小孩教育的今天，沒有父母親陪伴，對小孩學習成績肯定有影響！
③鄉鎮工作責任壓力比縣城大很多。題主到鄉鎮可能是當副鎮長。目前，鄉鎮每一項工作幾乎都是鄉鎮副職領導牽頭掛帥，上級部門對每一項工作都要組織考核排名，對工作落實不力的，肯定是要追究責任的；排名靠后被通報的，在書記鎮長面前也很難交差。如果被追究責任，那肯定是處理一批人的，負有領導責任的副鎮長肯定是首當其沖，跑都跑不掉。而題主在縣城，負責的都是單向性的、條塊性工作，比較單一和專業，工作節奏由自己掌握，考核壓力也不大。
④鄉鎮副職晉升可能性幾乎沒有。鄉鎮副鎮長，如果是在鄉鎮內部提拔，起提拔路徑為：副鎮長→黨委委員→黨委委員兼副鎮長→副書記→人大主席→鎮長→書記。當然，也可以從副書記直接提拔為鎮長。可以看出，從鄉鎮副科到正科，雖然只是一步之遙，但至少必須經過3個隱形步驟，每一步都必須和他人競爭，每一步都有很多不確定因素，每一步都比較艱難。一個鄉鎮就3個正科級，即書記、鎮長和人大主席。但是，縣直單位空降到鄉鎮干正科的情況非常普遍。有時雖然不是直接空降，但也是先空降1個專職副書記，干個1年半載，等鎮長崗位空缺出來，該空降專職副書記就立馬補位。空降和間接空降的模式似乎早已固定下來，并一直延續下去，導致鄉鎮副科級領導干部幾乎提拔不了。我在鄉鎮工作時，50多歲的副科級領導有3個，任職差不多20年，先后在幾個鄉鎮工作過，輪換過黨委委員、武裝部長、宣傳委員、副鎮長等崗位，但一直沒有提拔，在副科級職務上兜兜轉轉20多年，原地踏步、終此一生。
綜上，題主已經40歲，既沒有外力背景的優勢，也沒有年齡優勢，為了一個已達到天花板的副科級去工作繁忙、條件艱苦、沒有晉升優勢的鄉鎮，而放棄縣城良好的工作環境和生活基礎，確實不是上上之策。
當然，如果題主年齡為30來歲，綜合實力較強，我還是比較支持到鄉鎮任職的。到鄉鎮工作，既可以鍛煉綜合協調能力，還可以提升處理復雜情況能力，對將來個人仕途走向有極大幫助。