于是皇帝大怒，叫使者飞马西域，责问西域诸国为什么不进贡此宝物，但得到的回答却是：西域诸国常年进贡，但每次都被一个叫小勃律的国家给抢走了，再加上路途遥远，因而运不到长安。
当得知了真相后，盛怒之下的玄宗皇帝决定要举兵进攻小勃律国，大臣们虽然劝阻，却有宰相李林甫紧随其后，并建议皇帝叫大将王天运带兵教训小勃律国；之后为了这五色玉石，王天运兴兵40000出征，由此引发了唐朝和小勃律国之间的恩恩怨怨。
注：小勃律国就是今天巴基斯坦控制下的克什米尔的斯卡杜地区，直到现在这里仍是西南亚最著名的玉石产地。
而当时玄宗的想法：
小勃律国，在当时的地理位置非常的重要，是大唐和吐蕃反复争夺的对象，控制了小勃律国就可以威慑西域诸国，所以玄宗坚持派王天运兴兵。