升为征虏将军，累加卫将军。武定五年（547年），封永乐县子。

曾陪高澄同桥狩猎，看见一只大鸟，正展翅高飞，斛律光拿起弓来，一箭就射了下来，而且是正中要害。这只鸟形状像车轮，旋转着掉了下来，一看是只大雕。高澄拿过雕来观看，将他夸赞了半天。丞相属邢子高感叹着说：“真正的射雕手。”当时人们都称他为“落雕都督”不久兼任左卫将军，晋爵为伯。

武定八年（550年），高洋建立北齐后，斛律光加封开府仪同三司，另封西安县子。天保三年（552年），随从文宣帝的大军出塞，用兵库莫奚。斛律光为先锋，打败库莫奚军队，掳获甚多，并且夺得了一些其他的牲畜。回到京师邺城后，官加晋州刺史。

同北齐接壤的北周天柱、新安、牛头三戍之头目，经常招纳北齐的逃人，多次寇掠齐境。天保七年（556年），斛律光率五千步骑偷袭了他们。又大败北周的仪同王敬俊等，虏获五百多人、杂畜千余头后返归。天保九年（558年），又领兵夺取了北周的绛川、白马、浍交、翼城等四戍。任朔州刺史。

天保十年（559年），斛律光官拜特进、开府仪同三司。二月，统领万骑攻打北周的开府曹回公，并将其杀死。柏谷城主帅、仪同薛禹生弃城逃跑，于是斛律光就占领了文侯镇，立戍置栅后回京。乾明元年（560年），斛律光被封为并州刺史。

皇建元年（560年），晋爵巨鹿郡公。这时，乐陵王高百年为皇太子，孝昭帝高演认为斛律光家世代淳厚清谨，加之为皇室立有功勋，便纳其长女为太子妃。太宁元年（561年），官尚书右仆射，食中山郡干。太宁二年（562年），除太子太保。

河清二年（563年）四月，斛律光率二万步骑在轵关西部筑建勋掌城，又修造了二百多里的长城，设置了十三个戍。河清三年（564年）正月，北周派大将达奚成兴等来寇掠平阳（山西临汾西南），武成帝令斛律光率三万步骑抵抗，达奚成兴等听说是斛律光迎战，不战而退。斛律光乘机追击，追入周境，俘获周军二千余人而回。三月，迁任司徒。四月，率骑兵北讨突厥，获良马千余匹。

同年冬，北周武帝宇文邕派遣柱国、大司马尉迟迥、齐国公宇文宪、柱国庸国公可叱雄等，率兵十万攻打洛阳。斛律光率五万余骑急行军赶赴洛阳，两军在邙山（河南洛阳西）大战，尉迟迥等人大败。斛律光射杀了周将可叱雄，获首级三千多级，尉迟迥、宇文宪幸免一死，还缴获了所有的甲兵辎重，并将死尸堆成京观。

武成帝高湛亲临洛阳，策勋颁赏，迁任斛律光为太尉，又封冠军县公。早几年高湛命纳斛律光第二女为太子妃，天统元年（565年），拜为皇后。同年，斛律光转为大将军。

天统三年（567年）六月，因父去世，斛律光辞官归家。同月，诏令斛律光及弟斛律羡官复原职，仍为前任。秋，除太保，袭爵咸阳王，并袭第一领民酋长，另封武德郡公，移食赵州干，迁太傅。

天统三年（567年）十二月，北周又围攻洛阳，阻断齐军粮道。武平元年（570年）正月，斛律光奉北齐后主高纬命率步骑三万讨伐，军至定陇，与在鹿卢交屯兵的周将张掖公宇文桀、中州刺史梁士彦、开府司水大夫梁景兴等相遇，斛律光披甲执锐，身先士卒，锋刃才交，大败宇文桀军，斩首两千多级。

齐军长驱直下，直抵宜阳，与在这里防守的北周齐国公宇文宪、申国公拓跋显敬对峙百日。为了沟通宜阳道路，斛律光营筑了统关、丰化二城。