岳飛一共生有5子2女，岳飛被抄家以后，岳飛和岳云當即被處死。岳家其余人口全部發配南方邊遠地區。其中17歲的岳雷，12歲的岳霖，5歲的岳震，被發配惠州。
岳飛的妻子李娃和2歲的岳霆，則被發配云南。岳云的妻子和岳雷的妻子，帶著孩子輾轉來到潭州生活。
岳飛的兩個女兒岳安娘和岳銀瓶，歷史記載不詳。據說，當時岳安娘已經嫁人，13的岳銀瓶因申訴無門，懷抱銀瓶跳井而死，也因此而得名。
岳飛先后有兩任妻子，第1任妻子姓劉，生下了岳云和岳雷，以及長女岳安娘。
岳飛從軍之后，在數年之內轉戰多地。劉氏以為岳飛已死，也許是家中過得太過困苦，也就另行改嫁。
劉氏改嫁的這個男人，是當時南宋名將韓世忠手下的一名軍需官。而岳飛此時已經與韓世忠齊名，但是岳飛并沒有責怪劉氏，還給劉氏送去了500貫銅錢（相當于500兩銀子）作為補償。
后來岳飛娶了李娃為妻，李娃生下了岳霖、岳震、岳霆，以及次女岳銀瓶。
李娃可以算上一個奇女子，她不但對內賢惠，照顧婆婆以及岳云、岳雷。同時，她還要安撫岳家軍中的隨軍親屬。
在岳飛出征以后，李娃還要處理岳家軍的內務。有一次在岳飛外出期間，李娃還召集眾將，斬殺了一個作亂者。
后來，岳飛覺得李娃干涉軍務太多，便讓李娃回家照顧母親和孩子。
在岳飛被害一案中，有三個人出力最大。第一個就是秦檜，第二個是張浚，第三是萬俟卨（讀音“莫旗謝”）。這三個人現在還跪在岳飛的墓前，跪在岳飛墓前的，還有一個就是秦檜的老婆。
為什么秦檜的老婆王氏，也會跪在岳飛墓前呢？因為秦檜是一個比較怕老婆的人，河東獅吼，就是出自于這個女人。都說最毒婦人心，其實，秦檜對岳飛使用的一些致命的招數，都是出自王氏之口。
張浚這個人原本是南宋的宰相，而且他還是一個主戰派。
但是張浚這個人身居高位，才能卻不夠，還比較嫉賢妒能。他最不能忍受的，就是手下的將領比他能力強。而且他還認為手下的將領權力太大，就會不聽話。
而岳飛正是張浚手下那個不聽話的將領，岳飛曾多次當面頂撞過張浚。因此，在“淮西合軍”一事上，張浚就不愿意把淮西軍交到岳飛手中了。
后來，由于張浚處理淮西軍問題不當，導致數萬淮西軍投降了偽齊。
而張浚也因為這一事件而被罷相，接替張浚的是主守派的趙鼎。趙鼎主張像東晉那樣偏安一隅，也不希望與金人大戰。
這時，秦檜就開始挑撥主戰派和主守派之間的矛盾。由于趙鼎位高權重，導致主戰派在南宋朝廷內無法立足。
秦檜正是金人派回來的奸細，目的就是逼迫趙構投降。
趙構這個人雖然手下兵多相廣，但他的膽子早已被金人嚇破。
當年金人侵犯北宋，趙構作為質子被送往金軍大營。但趙構當場就被嚇尿了，金人就懷疑他可能就不是皇子。于是金人要求換人，趙構這才逃出一劫。
但這次直面金人，給趙構留下了終身的陰影。在以后的時間，只要在趙構耳邊提起金人兩個字，趙構立刻嚇得腿軟。
而且，趙構后宮無數，但是在建立南宋之后，沒有留下一個子女。有人推測，有可能趙構在這次驚嚇中，直接喪失了男性功能。
金人為了讓趙構投降，給出了豐厚的條件。金人許諾將偽齊的地盤劃給趙構，還可以將趙構的親生母親釋放回來。而趙構只要向金人稱臣，每年納貢白銀20萬兩，絹20萬匹。
這時，秦檜抓住了趙構急切想求和投降的特點。秦檜就誣陷宰相趙鼎不肯講和，于是趙鼎也被罷相。趙構將投降一事全權交由秦檜負責，秦檜開始獨攬相位。
此時，岳飛，韓世忠等名將，都被排擠到無關緊要的位置，甚至罷官，而張浚卻轉身投靠了秦檜。
就在趙構和秦檜，沉浸在投降金人的喜悅之中的時候，金人內部局勢發生的變化，完顏兀術奪取了金朝大權。
在1140年，完顏兀術率領4路大軍攻打南宋。南宋被迫反抗，岳飛等人又重新被重用了。
岳飛等人僅用了三個月的時間，就打退完顏兀術的進攻。就在岳飛要追擊完顏兀術的時候，岳飛一天收到了12道金牌，要求撤兵。
岳飛這邊班師回朝，完顏兀術就順勢又占領了河南地區。岳飛聽聞之后，仰天長嘯，“所得諸郡，一旦都休。十年征戰，前功盡棄。"
經此一戰，趙構覺得有了和金人談判的籌碼。而完顏兀術也需要秦檜這樣的人，來替他解決抗金的力量。于是，兩邊一拍即合，議和投降再次被提上日程。
為了讓金人滿意，趙構和秦檜開始對主戰派重要人物，進行打壓、陷害。
張浚早已經投降了秦檜，因此，張浚就變成打壓主戰派的馬前卒。
這次，張浚把目標放在韓世忠身上。張浚還暗自拉攏岳飛，并且提出將韓世忠的人馬分給岳飛，但遭到了岳飛的拒絕。
岳飛將這一狀況告訴了韓世忠，韓世忠立刻上書趙構，并且在趙構那里痛哭流涕，并且拉開衣裳露出身上的點點傷痕。
最終，趙構被說動，韓世忠才免于一死。但此后，韓世忠隱退回家，閉門謝客，不問世事。
由于岳飛的不配合，導致投降派的任務沒有完成，于是投降派把所有的仇恨，都增加到岳飛身上。
這次還是張浚出馬，在張浚和岳飛在視察楚州的時候。張浚提出要重修楚州城，加強防御。而岳飛則表示，應該堅持北伐，不要做退守城池的打算。
岳飛的這一番話，被張浚等人誣陷成，岳飛要放棄楚州城了。于是，張浚和秦檜伙同言官萬俟卨（讀音“莫旗謝”），對岳飛大肆誹謗。
岳飛被迫停職，但是秦檜等人，還是不愿意放過岳飛，繼續羅織岳飛的罪名。
當時南宋的官員俸祿不少，能撈錢的地方也多。像韓世忠，張浚等人都是住著豪宅，三妻四妾，生活極度奢侈。
當時岳飛已經被授予太尉，開府儀同三司，少保等職位，每年的俸祿十分豐厚，而且還有大量錢財軍餉經手。
秦檜等人就想從此入手，沒想到，等他們搜查岳飛家中的時候，卻發現岳飛家中連一個使喚丫頭都沒有。
岳飛家中連沒有一樣值錢的東西都沒有，只有一些書畫、書卷，以及賞賜的物品。對此，秦檜感到難以置信。
原來，岳飛所領的犒賞，全部如數發給部下，從不私藏一分一毫，這也是岳飛一直受部下愛戴的原因之一。
秦檜等人見這條路行不通，就決定從其他方面來誣陷岳飛。
他們先是收買了岳飛的部將王貴，然后迫使王貴誣陷岳飛的副手張憲。然后，張浚以無中生有的罪名，把張憲逮捕入獄，進行嚴刑拷打。他們將張憲打暈之后，讓他在一份假供詞上畫押。
這份假供詞涉及了岳飛的兒子岳云，于是，岳云立即被逮捕。然后，張浚等人又用了同樣的手段，誣陷了岳飛。
秦檜等人明目張膽地誣陷忠良，導致朝廷之中很多人都同情岳飛，甚至上書為他求情。而這些為岳飛說話的人，無一都遭受到秦檜的迫害，不是被貶官就是被殺害。
為了得到岳飛的證詞，秦檜把所有審理岳飛的官員全部支走，反而讓一個言官萬俟卨來進行代審。
萬俟卨本來就和岳飛有過節，岳飛當年風光的時候，萬俟卨就想巴結岳飛，被岳飛嚴詞拒絕。
因此，萬俟卨心中對岳飛十分記恨。他上來也不問話，直接就是一頓毒打，然后就隨便以“莫須有”的罪名給岳飛定罪。岳飛氣得啞口無言，最后在供紙上寫了8個大字，“天日昭昭，天日昭昭”。
在紹興十一年十二月二十九日，也就是公元1142年1月27日，秦檜上奏趙構，要求將岳飛處死。
趙構根據秦檜上奏的誣陷材料，下了一封詔書。將岳飛賜死在獄中，岳云和張憲在臨安街頭處死。岳飛全家被抄財產沒收，所有人被充軍發配嶺南。
在岳飛被誣陷的時候，大理寺丞李若樸等人為岳飛求情，最終被罷官。大理寺卿薛仁輔為岳飛喊冤，最終深陷大牢。
趙構的堂叔，大宗正事趙士?（讀音“鳥”），以全家百口性命保釋岳飛，結果被貶建州，最后死在那里。平民劉允升上書訴說岳飛的冤情，遭受秦檜等人的迫害，死在獄中。
岳飛當年有一個幕僚叫姚岳。姚岳本是一個落魄書生，當岳飛看到了姚岳的名字，頓時眼前一亮。因為岳飛的母親姓姚，父親姓岳。岳飛就認為，姚岳是冥冥之中，上天送到他身邊的人物。于是，岳飛就對姚岳十分器重。
在岳飛出事以后，姚岳第一個站出來與岳飛劃清界限，并且極力否認在岳飛手下任職。
姚岳甚至還上疏，建議趙構將岳州改名，理由是岳州人民不能與罪臣同姓。宋高宗竟然同意了這個要求，于是岳州被改名為純州，岳陽軍改名為華容軍。
岳飛的妻女被流放嶺南，他們不但不能隨意活動，還要定時去官府報到，驗明正身。他們唯一的生活來源，就是靠著朝廷發放的米料。
但漳州知州居然上書朝廷，建議取消對岳飛家屬的米糧供應，這無疑是在向秦檜的人示好。但這馬屁顯然拍錯了地方，遭到了眾大臣的反對。
朝廷中唯一站出來為岳飛說話的，只有韓世忠一人。韓世忠當面質問秦檜，“莫須有的罪名，能讓天下人信服嗎？”
在20年后，金人再次向南宋發起進攻。這時，朝廷主戰派又占據了上風。于是，朝廷上下紛紛要求為岳飛昭雪。被流放嶺南的岳飛家眷，這才結束了顛沛流離的生活，回到了江州。
但是，趙構卻將岳飛與蔡京、童貫等人相提并論，這顯然不是為岳飛昭雪。
第2年，趙構退位，趙昚登基，他恢復了岳飛生前所有職務，并且歸還了岳飛的田宅，岳飛的子孫也得到了任用。
但是，朝廷對于岳飛冤死一事，只是一筆帶過。因為此時趙構還沒有死，趙構身為太上皇，還在監督著趙昚的一舉一動。
趙昚為岳飛舉辦了葬禮，并且重金懸賞岳飛的尸首。這時，有人說出了岳飛遺體埋葬的地方。
原來，當年岳飛被害以后，有一個叫隗順的獄卒，同情岳飛的遭遇，將岳飛的尸體偷出，埋葬在杭州棲霞嶺。
由于當時秦檜勢力較大，隗順一直都沒有聲張，直到臨死之前，才告訴自己的兒子，岳飛的遺骨就埋在棲霞嶺。
槐順當年還做了標記，岳飛的墳前有兩棵橘樹。岳飛的尸骨上還配有一枚玉環，這是當年岳飛的妻子李娃相送。同時，岳飛的棺材上還刻有“大理寺”的字樣。
趙昚立刻派人重修了岳飛墓，并將岳飛墓安置在棲霞山南麓，也就是我們現在看到的岳王廟。
岳飛真正被昭雪，是在他死后的84年以后。
宋理宗趙昀才第一次指出，岳飛冤死是因為議和政策所致。趙昀將岳飛比如諸葛亮和郭子儀，并追封岳飛為鄂王，謚號“忠武”。
這是南宋官方對岳飛的最高評價，也是宋朝對岳飛的蓋棺定論。
在岳飛被昭雪以后，岳云也同樣得到昭雪，并且陪葬棲霞嶺。
岳云有兩子一女，岳云的長子岳甫和次子岳申，后來都入朝為官，岳甫官至吏部尚書，岳申也被授予保義郎職位。
岳飛的次子岳雷被流放的時候，已經17歲了，他和12歲的岳霖，5歲的岳震，一起被流放惠州。當地將他們安置在一個寺廟的茅草屋中，并且不允許他們外出活動。
岳雷身心受到重大打擊沒，過幾年就死了。
岳飛第三子岳霖，后來官至朝廷大夫，兵部侍郎等職位，岳霖一生都致力于收集岳飛的遺文，一直致力于為岳飛昭雪的事物。
岳霖的三子岳珂秉承父親的志愿，也在收集祖父岳飛的相關事跡及文稿。我們現在能看到關于岳飛的史料，大部分都是岳珂整理的。
而岳珂這一門，也完全放棄了岳家傳統的武將路線，一心致力于文學，估計也是深受岳飛遇害的影響。
岳震和岳霆一直隱居在黃梅楊梅嶺，后來，岳震被授予朝奉大夫，岳霆被授予散朝大夫職位。兩人死后，都葬于黃梅楊樹嶺。兩人共有9個兒子，一直在黃梅一帶繁衍發展。
岳飛之所以能夠被昭雪，他們的子孫也得到了朝廷的任用，主要還是因為，南宋正面臨生死存亡的危機。
這時，南宋朝廷就需要以岳飛之名，將南宋軍民的抗金熱情調動起來，來挽救岌岌可危的南宋政權。
而岳飛一案，真正得到昭雪，卻是在百年之后。這其中的阻力，就是來源于當年制造這起事件的人。如果沒有南宋人民的英勇斗爭，沒有抗金形勢發生劇烈變化，岳飛可能就要永遠地背負冤屈的罪名。
而與岳云一起被斬首的張憲的昭雪之路，則更加漫長。在岳飛家屬被放回很多年后，在張家多次申訴之下，南宋才勉強承認張憲生前的官職。
由此可見，岳飛也只是南宋招攬人心的一塊金字招牌。而在南宋朝廷心中，是不會真心為一個臣子認錯的，哪怕是個精忠報國的忠良。