[KyleGoetz]

Originally Posted by RickOShay

Umm.. I suppose we should ask Sashimister to be sure, but I feeｌ like 日本に住んでいたとき、日本語を勉強していました。 sounds better.

Just googling に住んでいる時、　I cannot find any other sentence structured like that one. However, に住んでいた時、I find several.

Ex:私は以前横浜に住んでいた時、TVKの「中央競馬ワイド中 継」を見ていました。ところ... - Yahoo!知恵袋
アメリカに住んでいたときに、ピーナッツバター製造機 がありました。メーカー、連絡先を調べてください。 - 人力検索はてな
■アメリカの銀行口座（自分の口座）に送金する方法 - BIGLOBEなんでも相談室

You're probably right. On second thought, I can't recall ever saying 住んでいるとき. But I can imagine saying 〜前に instead for "before ~."