赵武灵王虽然不怎么参与诸侯混战，但他时刻关注着战国局势。眼看着秦、楚、齐强大起来，赵武灵王知道赵国总有一天要面临强国的威胁，三晋里的魏国、韩国已经被打得抬不起头，他们是指望不上了，为了应对日后的威胁，赵武灵王很清楚只能靠自己。
趁中原混战的时候，赵武灵王也没闲着，他趁机向北方和西方发展，攻打胡人，占据了不少地盘。胡人是游牧民族，兵种以骑兵为主，善于骑马射箭，当时各诸侯国还是以战车为主。在多年与胡人的对抗中，赵武灵王发现了骑兵机动性很强，在战场中穿梭非常自如。胡人的单兵作战能力极强，只不过胡人打起架来没什么章法阵列可言，打团战的话往往比不上赵国军队了。
赵武灵王想着，要是学习胡人，穿胡服，练习骑射，组建骑兵为主力的军队，提高军队的机动性，再辅以阵列战术，那岂不是两全其美。练骑射干嘛要穿胡服呢，因为胡服是短装，当时中原服饰大多是长袍，要骑马的话穿胡服更方便。
胡服骑射的想法是很好，赵武灵王很担心赵国上下都接受不了。中原人有着浓厚的文化优越和自信，向来看不上北方的游牧民族，觉得他们都是蛮夷。本来移风易俗就很难，现在还要让中原人接受游牧民族的文化，进行胡化改造，想想就困难。
赵武灵王将自己的想法和担忧都和肥义说了，没想到肥义非常支持，因为肥义老家也在胡地，他的思想非常开明。肥义对赵武灵王说：“大王听说过这句话吗，犹豫就会败北。现在大王既然有决心推动改革，就不要在意其他人的看法，尽管干去就是，老臣全力支持。”取得了肥义的支持，赵武灵王又去说服了赵国的另外两名权臣，楼缓和公子成（赵武灵王叔父）。
取得重臣支持后，赵武灵王下定决心，正式开启胡服骑射改革。
和秦国的残酷法治不同，赵国向来比较亲民，赵武灵王也很爱惜民众，因此他没有强制推动胡服骑射，而是自己率先垂范，穿起了胡服，练习骑马射箭。
公子成当时只是随口答应的，他没想到赵武灵王是来真的，自己还穿上了胡服。公子成的传统思想比较重，他觉得这样太丢先人的脸了，就找人在大臣中散布谣言：“大王平时看我们不顺眼，故意这样羞辱我们。”赵武灵听到谣言后，马上召集了文武大臣，当着所有人的面，表演了一下自己练习的射箭手艺，一箭射穿远处的木头，严肃得说：“谁再嚼舌根，就如同次木。”大臣们从此就不敢瞎说了。
本来赵国上下对胡服骑射这个事是比较反感的，但赵武灵起了带头作用，恩威并施，赵国臣民便逐渐接受了。赵武灵王用了三年，成功推广了胡服骑射，赵国建立起了强大的骑兵军团，这是汉族历史上第一支以骑兵为主的军队。
这次胡服骑射改革，赵武灵王冲破了传统的束缚，向中原人瞧不上的蛮夷学习作战方式，取长补短，充分体现出了赵武灵王的魄力，胡服骑射也对今后社会的发展产生了深远的影响。