설계두는 신라의 귀족 자손이다. 일찍이 친구 네 사람과 술을 마시며 각기 그 뜻을 말할 때 "신라는 사람을 쓰는 데 골품을 따져서 그 족속이 아니면 비록 뛰어난 재주와 큰 공이 있어도 한도를 넘지 못한다. 나는 멀리 중국에 가서 출중한 지략을 발휘하고 비상한 공을 세워 영화를 누리며, 높은 관직에 어울리는 칼을 차고 천자 곁에 출입하기를 원한다." 라고 하였다. 그는 621년 몰래 배를 타고 당으로 갔다.