黃家早年間也只算得上一個中等人家，經過幾代人的努力，家中開了個不大不小的商號做買賣，基本上能夠維持溫飽。
黃以聲自小聰明好學，家中長輩望子成龍，就將其送進張大帥開辦的免費學堂上學，黃以聲也沒辜負家里人的厚望，學習成績一直非常優秀，后來更是考入了東北大學就讀，在大學里的成績和品行都獲得了師生的贊譽，被張大帥所看重。
這里就不得不說一下東北的張大帥，由于他從小就是個沒讀過幾天書的孩子，教育一直以來成為他的心結，他認為要想國家強大，就要學習文化知識。
當年他沒有條件讀書學習，在他成為東北第一大軍閥時，他最先開始關注當地的教育，當時的各路軍閥，都在擴大自己的兵力和地盤，而張大帥卻在教育上投入大量財力物力，他要求東北各地區教育經費一定要占總支出4成，各項費用不得挪用教育經費，其他經費可以適當縮減。
當時東北出現許多高等師范類院校，在那里學習，不用交學費還給發伙食費，一天免費三餐非常豐盛，而這些費用全由奉天政府買單。
后來，他又于1923年創辦了全國一流的東北大學，他還自掏腰包，花大價錢，從全國各地請一些優秀的教育家在東北大學任教。
在當時東北大學規模巨大，功能齊全，師資力量雄厚，在國內亦是首屈一指，當時的教學水平已經比肩清華北大，差點就成為中國第一大學。
張大帥還不僅僅滿足于自己培養人才，他還在大學里挑選優秀尖子，自己出資送到國外去留學，學習西方列強先進的科學知識和技術。
黃以聲就有幸被選中并送到法國留學化工專業，學成歸國后直接就被任命為沈陽兵工廠的工程師。
黃以聲也很為大帥爭氣，第二年就帶領研發小組為兵工廠研制出了黃色火藥并投入生產，從此沈陽兵工廠的槍彈火藥再也不用依賴從日本進口，相當于解開了日本人套在東北軍脖子上的一道枷鎖，這也增加了日本人對越來越不受控制的張大帥的忌憚和恨意，為后面的皇姑屯事件埋下了伏因。
張大帥為此還重獎了黃以聲并將他提拔為少將參事，全面負責沈陽兵工廠的生產管理工作。
所謂一人得道雞犬升天，黃以聲得到大帥的重用后，軍中大佬和各方上層人物都來與他交好，在東北軍中也算是小有權勢的一號人物，自然要對家中人有所提攜。
此時的黃家卻是在黃以聲出國留學期間遭了一次大難，他的父親、大伯還有堂兄在一次去山區進貨時被土匪殘害，自此家道中落，等黃以聲回國后才知道此事。
但是家中嫂嫂改嫁，嬸嬸病死，只剩下母親和唯一的一個侄兒相依為命，日子過得甚是艱辛。
黃以聲回國后就將母親和侄兒接到沈陽居住，靠著他在兵工廠的薪金度日，雖說不上殷實，但是吃飽飯還是沒問題的。
后來黃以聲靠自己的努力和成績得大帥看重，不但派兵剿了土匪為他報仇，還為他置辦了宅院，又親自做媒，幫他娶了一個當地名流家的千金，自此后的生活就芝麻開花節節高，等到妻子為他誕下一兒一女后，黃家已經算得上沈陽城中的一個大戶人家了。