金国建立后，阿骨打清醒地认识到，苟延残喘的辽国仍然是它的劲敌。若想新建立的政权能够生存下去，必须乘胜追击，将辽引向战争的深渊，直至将其推翻。
宁江州、出河店等战役后，辽军又屡屡战败，惨淡的战绩使得辽国的东方重镇达鲁古城、黄龙府相继失守。黄龙府被占，让辽国惊恐万分。在对阿骨打诱降和遣使议和都未能达到目的的情况下，辽主天祚帝准备御驾亲征。在黄龙府被占的当日，他即下诏发兵，号称70万，实际只有10万。以萧奉先为御营都统，耶律张奴为副，由骆驼口、宁江州分道而进。
这次亲征，辽主做好了充分的准备。
面对辽国此次的倾巢出动，阿骨打并不惧怕。
为了激励将士奋勇杀敌，他执刀仰天痛哭，说：“当初和你们起兵反辽，只是因为无法忍受契丹的残酷迫害剥削，想要自己建国独立。现在辽主亲自来征讨我们，怎么办呢？除了与他们殊死一战，再没有其他办法了。不如你们杀了我一族人，你们去投降，便可以转祸为福。”众兵士见状，皆摩拳擦掌说：“事已至此，唯命是从。”于是，阿骨打再次率众出征。
金国众将领认为，辽军有70万，锋芒势不可挡。为了避免疲劳迎战，应筑深沟高壑，严加防守。阿骨打采纳了建议，在关隘爻剌依地势防御部署。然而，8天之后仍没有辽军的动静。经过侦察得知，辽内部发生了耶律张奴政变，亲征的天祚帝已经匆忙西去平定叛乱了。得知这一情况后，阿骨打当机立断，从防御改为主动出击，派轻骑兵赶往护步荅冈追赶天祚帝。
当时，金军骑兵只有2万人。和辽相比，处于劣势，不宜全线出击，否则势必被辽军分割包围。阿骨打决定集中兵力，围歼中军。阿骨打说：“他们人多势众而我们兵力少，我们不能分兵作战。看辽人的中军最为雄壮，辽国皇帝肯定在其中，如果打败了辽国中军，就可以取胜了。”金军先出动右翼，再出左翼合击辽军，辽军大败。
护步荅冈之役，是阿骨打指挥反辽战争以来最关键的一次战役，是金辽之战的转折点，具有重要的战略意义。此前，辽军在兵力上占有绝对优势，但是因内部的政变，进一步加深了辽朝统治集团的分裂，辽朝政局陷入混乱之中，其优势不复存在，已无力组织起对阿骨打的有效防御，损兵折将，丢城失地，而金军则越战越勇。护步荅冈取胜后，金国更从根本上扭转了己弱敌强的局势。
护步荅冈之役后，金国的领地更加辽阔，从前的辽北、辽南，全部划归境下。为了加速灭亡辽国的进程，阿骨打开始利用辽国统治集团内部矛盾不断加深和民族矛盾尖锐激化的形势，从政治上分化瓦解辽国。
渤海本是粟末靺鞨建立的政权，其经济、文化发展程度较高，被辽国灭亡后，其居民被迫迁徙或流散逃亡，被称为渤海遗民。渤海遗民中的大部分人是女真人。他们足智多谋，骁勇善战，在乱世中，被辽征用，与金为敌。阿骨打在宁江州战役结束后，就开始招抚渤海人。他派军中的渤海族将士回去招谕其同乡：“女真、渤海本来是一家，我兴师伐罪，不会滥及无辜的。”
阿骨打这一政策取得了很大的成效。很多渤海人先后投入了阿骨打阵营，为他效力。他也从这些人中物色好的将帅之才留为己用。
阿骨打曾收留培养了一名渤海干将，后来派其潜回渤海到反辽的高永昌军中做内应。
高永昌是阿骨打潜在的敌人，属于渤海上层人物。在辽的统治下，高永昌逐渐和契丹族产生了裂痕。他伺机杀了东京留守萧保先自立，自称大渤海皇帝。高永昌控制辽东50余州，势力庞大。这在客观上起到了牵制辽国，动摇其统治的作用，但也形成了对阿骨打潜在的威胁。
辽国视高永昌为眼中钉，曾发兵围剿高永昌部。
高永昌初战失利，向阿骨打求援，提出了“愿并力以取辽”的合作方式。
阿骨打对这一建议未置可否——他更希望能够借助辽国之力来镇压高永昌起义，使其两败俱伤，这样对金国有利。于是，阿骨打拥兵作壁上观，对高永昌的请求置之不理。当高永昌转败为胜时，阿骨打乘高永昌军休整之时，发动突袭，大获全胜。随即派安插在渤海军中的内应杀死高永昌家小，然后临阵捕获高永昌，在辽阳将其杀害。
为了彻底孤立和打击辽国统治者，阿骨打对于主动投降金国或作战中被俘的契丹将领，均采取“服者安抚之”的策略。只要他们肯为金朝效力，悉数委以官职。
随着两国战事连绵不断，辽国统治集团内部矛盾重重，分歧亦越来越大。
天辅四年（1120）三月，辽国派遣使者向金求和。阿骨打认为是辽国的缓兵之计，没有响应。同年五月，阿骨打亲率大军攻占了辽国的上京临潢府，取得了继攻占黄龙府之后的又一次重大胜利。辽国朝野震惊。军中不断生变，厌战和起义事件不断发生。
此时，天祚帝又做出了令辽国前途堪忧的举措：他听信奸佞之言，对一部分主将失去了应有的信任。不久，辽国大将耶律余睹率部降归金国。
耶律余睹是辽国皇室宗亲，颇有才干。在同金军作战中，屡立战功。他的军队有着很强的战斗力，对金军构成了一定的威胁。阿骨打在占领辽国上京临潢府之后，曾亲自写信向耶律余睹招降，但遭其拒绝。
天辅六年（1122）正月，耶律余睹被萧奉先诬为谋反，天祚帝决定处死他。耶律余睹在军中听说后，担心枉自被诛，立即率领家人及千余亲兵叛离天祚帝，投奔了金国。
阿骨打对耶律余睹的到来相当重视，尽其所能对他及部下进行妥善的安置。他亲自接见耶律余睹和他的官属，以宰相的礼遇为其接风洗尘。
阿骨打对耶律余睹不计前嫌，委以重任，封其官职，并令其立功受奖。
阿骨打的高瞻远瞩及博大襟怀，进一步提高了他在当时的威望，吸引了更多人投到了金国的大旗之下，参加反辽斗争。
辽国的大业在金国的旁敲侧击之下，已然摇摇欲坠。随着其统治愈加腐朽和没落，金的大举攻势也拉开了帷幕。
天辅六年（1122）六月，阿骨打在耶律余睹的引导下，攻克了辽国的中京，不久又攻下了辽国的西京大同府。同年十二月，阿骨打亲自带兵攻下了辽国首府燕京，天祚帝逃亡。天辅七年（1123），在辽国灭亡的前夕，阿骨打去世。其弟完颜晟继位，继续对辽作战。
天会三年（1125），辽主天祚帝被俘，辽国灭亡。
