이 사건 세무조사 과정에 절차상 위법이 있었는지 여부와 이 사건 토지의 양도를 부동산매매업으로 볼 수 있는지 여부

사 건 부산고등법원 2019누22088 부가가치세등부과처분취소 원고, 항소인 AAA 피고, 피항소인 BB세무서장외1 전심 판 결 울산지방법원 2019. 05. 30. 선고 2018구합6922 변 론 종 결

2020. 3. 25. 판 결 선 고

2020. 4. 22.

1. 제1심판결을 취소한다.

2. 피고 BB세무서장이 2016. 11. 4. 원고에게 한 별지 제1과세처분 기재 부가가치세합계 152,736,400원의 부과처분 및 피고 CCC세무서장이 2016. 11. 10. 원고에게 한 별지 제2과세처분 기재 부가가치세 합계 44,363,340원 및 종합소득세 937,665,580원의부과처분을 각 취소한다.

3. 소송 총비용은 피고들이 부담한다. 청구취지 및 항소취지 주문과 같다.

• 가. 원고의 사업자등록과 부가가치세, 종합소득세, 양도소득세의 신고

1. 원고는 피고 CCC세무서장에게 개업일을 ‘1996. 7. 30.’로, 사업장소재지를‘BB 00 0000 0(000)’로 한 부동산임대 사업자등록을 하였다.

2. 원고는 피고 BB세무서장에게, ① 상호를 ‘DDDD’로, 개업일을 ‘1997. 5. 15.’로, 사업장소재지를 ‘BB 00 000 000번길 00(000)’로 하여, ② 개업일을‘2000. 2. 1.’로, 사업장소재지를 ‘00 00 00로 0(000)’로 하여, ③ 상호를 ‘EEEE’으로, 개업일을 ‘2008. 2. 25.’로, 사업장소재지를 ‘BB 00 00로 0(000)’로 하여 각 부동산임대 사업자등록을 하였다.

3. 원고는 피고들에게, ① 2011년부터 2015년까지 임대료 수입에 대한 부가가치세 및 종합소득세를 신고하였고, ② BB 00군 00면 00리 산000-0 임야 141.87㎡ 외 10필지(이하 ‘이 사건 토지’라 한다)에 관한 지분 등 소유권을 원고 명의로 취득한 다음 2013년부터 2015년까지 총 3회에 걸쳐 매도하면서 별지 양도소득세 신고 내역 기재와 같이 양도소득세를 신고하였다.

• 나. 원고에 대한 세무조사

1. 피고 BB세무서장은 2016. 8. 8.부터 2016. 8. 26.까지 원고에 대한 개인통합조사(이하 ‘이 사건 세무조사’라 한다)를 실시하였는데, 이를 담당한 세무공무원이 BB 00 00로 000번길 00(000)에 있던 원고의 ‘DDDD’ 사무실(이하 ‘이 사건 사무실’이라 한다)에서 컴퓨터에 저장된 전자정보와 서류 등을 수색하여 전자정보를 이동식 저장장치(USB)에 복사한 다음, 전자정보사본과 서류를 이 사건 사무실로부터 반출하여 세무관서에 보관하는 방법으로 과세자료를 확보하였다.

2. 피고 BB세무서장은 이 사건 세무조사를 통하여, 원고가 ① 2011년 ~ 2015년 과세기간에 임대수입금액 9억 7,500만 원의 매출신고를 누락하고 전기료 등 필요경비를 과다 계상하였으며, ② 이 사건 토지의 지분 등 매도대금 상당 67억 900만 원의 수입은 상호 ‘DDDD’ 사업장의 부동산매매업으로 인하여 취득한 사업소득에 해당함에도, 이를 양도소득으로 신고하면서 장기보유특별공제금액 11억 1,500만 원을 부당하게 감면받았고, ③ 양도소득세를 신고하면서 필요경비 3억 3,100만 원을 부당하게 계상하였다고 판단하였고, 이를 피고 CCC세무서장에게 통보하였다.

• 다. 피고들의 원고에 대한 과세처분 원고에게, 피고 BB세무서장은 2016. 11. 4. 별지 제1과세처분 기재와 같이 부가가치세 합계 152,736,400원의, 피고 CCC세무서장은 2016. 11. 10. 별지 제2과세처분 기재와 같이 부가가치세 합계 44,363,340원 및 종합소득세 합계 937,665,580원의 각 부과처분을 하였다(이하 위 처분을 합하여 ‘이 사건 과세처분’이라 한다).
• 라. 전심절차 원고는 이 사건 과세처분에 불복하여 2017. 6. 26. 조세심판원에 심판청구를 하였으나, 위 심판청구는 2018. 5. 3. 기각되었다. 【인정근거】다툼 없는 사실, 갑 제1, 2, 6, 7, 8호증, 을 제1, 3호증(가지번호 있는 것은 가지번호 포함, 이하 같다)의 각 기재, 변론 전체의 취지

• 가. 절차적 위법 이 사건 세무조사 담당 세무공무원은 법령 등을 위반하고 세무조사권을 남용하여, 원고의 동의 없이 원고의 사무실을 압수․수색하고, 원고 등에게 의무 없는 협조를 강요하며, 원고의 장부 등을 세무관서에 임의 보관하는 등의 위법을 저질렀고, 이 사건 과세처분은 위법하게 수집한 자료를 근거로 과세표준을 산정하여 부과되었으므로 취소되어야 한다.
• 나. 실체적 위법 이 사건 토지 지분 등의 매도대금 상당 수입은 양도소득이지 사업소득이 아니므로, 이를 사업소득으로 하여 과세표준을 산정한 이 사건 과세처분은 위법하여 취소되어야 한다.

3. 이 사건 과세처분의 적법 여부에 관한 판단

• 가. 관련 법령 별지 ‘관계 법령’ 기재와 같다.
• 나. 판단 헌법상 적법절차의 원칙은 형사소송절차뿐만 아니라 국민에게 부담을 주는 행정작용에서도 준수되어야 하므로, 그 기본 정신은 과세처분에 대해서도 그대로 관철되어야 한다(대법원 2012. 10. 18. 선고 2010두12347 전원합의체 판결 등 참조). 한편, 세무조사는 국가의 과세권을 실현하기 위한 행정조사의 일종으로서 과세자료의 수집 또는 신고내용의 정확성 검증 등을 위하여 필요불가결하며, 종국적으로는 조세의 탈루를 막고 납세자의 성실한 신고를 담보하는 중요한 기능을 수행한다. 이러한 세무공무원의 세무조사권의 행사에서도 적법절차의 원칙은 마땅히 준수되어야 한다(대법원 2014. 6. 26. 선고 2012두911 판결 등 참조). 기초사실에서 본 증거와 갑 제33호증의 각 기재, 제1심 증인 FFF의 증언 및 당심 증인 GGG의 일부 증언에 변론 전체의 취지를 보태어 알 수 있는 아래와 같은 사정 등을 종합하면, 이 사건 세무조사는 구 국세기본법(2016. 12. 20. 법률 제14382호로 개정되기 전의 것, 이하 같다) 제81조의4 및 제81조의10 등이 정한 절차를 위반한 중대한 하자가 있으므로, 이 사건 세무조사 결과를 근거로 이루어진 이 사건 과세처분은 모두 취소하여야 한다.

1. 이 사건 세무조사 담당 세무공무원이 납세자인 원고의 이 사건 사무실에서 컴퓨터에 저장된 전자정보와 사용 또는 보관 중이던 서류 등 과세자료를 수색하여 전자정보를 사본한 다음, 전자정보사본과 서류를 이 사건 사무실로부터 반출함에 있어, 원고가 과세자료의 수색, 전자정보의 사본, 서류 등의 반출에 동의하는 등 임의로 이를 제출하였다고 인정할 만한 정황이나 객관적 자료는 없다.

2. 피고들은, 원고가 이 사건 세무조사 당시 세무공무원 HHH와의 전화통화에서 원고의 아들인 FFF를 이 사건 세무조사 관련 대리인으로 지정하였고, FFF가 원고를 대리하여 과세자료의 수색, 전자정보의 사본, 서류 등의 반출에 동의하였다고 주장하나, 아래와 같은 사정 등에 비추어 보면, 이를 인정할 수 없다.

• 가) 원고는 이 사건 세무조사 당시 세무공무원 등과 전화통화를 한 바 없다는 취지로 주장하고, 제1심 증인 FFF도 같은 취지로 증언하였다.
• 나) 원고와 세무공무원 HHH가 이 사건 세무조사 당시 전화통화를 하였다거나, 원고가 FFF에게 이 사건 세무조사와 관련된 과세자료의 수색, 전자정보의 사본, 서류 등의 반출에 동의할 권한 등을 위임하였다고 인정할 만한 객관적인 자료가 전혀 없을 뿐만 아니라, 오히려 제1심 증인 FFF는 “세무공무원이 사무실에 들어오면서‘동작 그만하십시오. 그대로 일어나서 밖으로 나오십시오’라는 취지로 말하였고, 약 30분 정도 책상서랍 등을 뒤져 서류를 찾고 컴퓨터에 저장되어 있던 자료를 이동식 저장장치에 복사한 다음 위 이동식 저장장치와 서류를 가져갔으며, ‘아들이니까 괜찮다’라는 등으로 강요하여, 작성권한도 없는 서류에 서명하였다”라는 취지로 증언하였고, 원고도 이 사건 과세처분에 불복하여 2017. 1. 31. 이의신청을 제기하면서 이 사건 소에 이르렀다.
• 다) 이 사건 세무조사를 담당하였던 세무공무원인 당심 증인 GGG은 “이 사건 세무조사를 담당하였던 조사공무원 HHH가 원고와 통화한 다음, FFF가 원고를 대신하여 문서에 서명하였고, 업무시간 이내에 복사할 수 없을 것 같아 FFF로부터 일시보관동의서에 서명을 받고, 관련 자료를 반출하여 세무서에 보관하였다”라는 취지로 증언하였고, 을 제6호증(HHH 작성의 진술서)의 기재 내용도 위 증언과 유사하지만, ① 구 조사사무처리규정(2018. 5. 2. 국세청훈령 제2253호로 개정되기 전의 것, 이하 같다) 제40조 제3항은 ‘납세자의 장부․서류․증빙 등을 조사관서에 일시 보관하고자 하는 경우에는 납세자, 소지자 또는 보관자 등 정당한 권한이 있는 자에게 조사에 지장이 없는 한 즉시 장부․서류 등을 반환받을 수 있음을 설명하고, 장부․서류 등 일시보관동의서(별지 제15호 서식)를 받아야 하며, 일시보관증(별지 제19호 서식), 일시보관 서류 등의 목록(별지 제19-1호 서식) 및 장부․서류 등 반환요청서(별지 제19-2호 서식)를 교부하여야 한다’라고 규정하고 있음에도, 피고들은 이 사건 세무조사 당시 FFF가 원고의 대리인으로 표시하여 서명한 ‘납세자권리헌장 등 수령 및 낭독 확인서’와 원고의 이름 등이 기재된 ‘청렴서약서’ 등의 문서는 답변서에 첨부하여 제1심법원에 제출한 반면, ‘장부․서류 등 일시보관동의서(별지 제15호 서식)’는 이 법원에 이르기까지 제출하지 못하고 있을 뿐만 아니라, ‘일시보관 서류 등의 목록’ 및‘장부․서류 등 반환요청서’를 교부하였다고 볼 만한 정황이나 자료도 없는 점, ② 증인 GGG은 “인사이동 과정에서 서류정리를 소홀히 하여 일시보관동의서를 분실하였다”라는 취지로 증언하였으나, 일반적인 공무소의 문서 관리 실태나 관련 규정 등에 비추어 보존기간 도과로 폐기하기 전까지 공권력 행사에 관한 문서는 분실될 가능성이 거의 없을 정도로 엄격하게 관리되고 있음에도, 일반적인 공무소와 달리 세무관서의 경우에만 인사이동 과정에서 문서의 분실이 자주 발생한다고 볼 만한 정황이나 자료가 없을 뿐만 아니라, 피고들이 문서의 분실 경위 등에 관하여 공적인 조사를 진행하거나 재발방지 대책을 강구하였다고 볼 만한 자료는 물론, 문서의 분실에 대한 책임자 징계 등의 정황도 전혀 없는 점, ③ 이 사건 세무조사 과정에서 원고의 배우자와 동생에 대한 조사도 병행되었는데, 이 사건 세무조사 담당 세무공무원이 원고의 배우자와 동생을 직접 만나거나 전화통화를 하지 아니하였고, 원고의 배우자와 동생이 FFF에게 조사 관련 대리권을 수여하였다고 볼 만한 정황이나 자료 역시 전혀 없음에도, 원고의 배우자와 동생의 ‘납세자권리헌장 등 수령 및 낭독확인서’ 등의 문서 역시 FFF가 그들의 대리인으로 표시하여 서명하였던 점, ④ 구 조사사무처리규정 제40조 제1항, 제2항은 납세자의 장부․서류․증빙 등을 조사관서에 일시보관하려는 경우에 조사관서장 또는 조사 관할 지방국세청장의 사전승인을 받거나 사후에 조사관할 지방국세청장에게 보고하여 승인을 받도록 규정하고 있음에도, 이 사건 세무조사에 관하여 위와 같은 사전 또는 사후의 승인이나 보고가 전혀 없었던 점 등에 비추어 보면, 당심 증인 GGG의 위 증언과 을 제6호증의 기재는 이를 믿기 어렵다.
• 라) 원고가 ‘FFF로부터 장부 등 일시보관동의서를 받았다’라고 기재한 소장을 제1심 제1회 변론기일에서 진술하는 등으로 위 사실을 자백한 바 있으나, 앞서 본 사정 등과 함께 변론 전체의 취지를 보태어 보면, 위 자백은 진실에 부합되지 아니하고 착오로 인한 것으로 인정할 수 있으므로, 원고가 이 법원 제3회 변론기일에서 2019. 11. 12.자 준비서면을 진술함으로써 위 자백은 취소되었고, 한편, 원고가 위와 같이 착오를 일으킨 사정을 앞서 본 다른 사정 및 아래에서 보는 피고들의 법령 해석 태도 등과 함께 살펴보면, 오히려 이 사건 세무조사가 제1심 증인 FFF의 증언과 같이 당시 현장에 있던 FFF 등이 강압적이라고 느낄 정도의 방식으로 시작되고 FFF에게 여러 문서를 한꺼번에 제시하면서 서명을 받았기 때문에, FFF가 이 사건 세무조사 당시에 어떠한 문서에 서명을 하였고 어떠한 서류 등이 반출되었는지를 기억하지 못할 정도의 상태에 있었다고 볼 여지도 많다.
• 마) 제1심 증인 FFF가, “조사공무원들은 서류의 복사를 위하여 장부작성자인 경리직원 III씨와 증인에게 임의제출을 요구한 바, 증인이 승낙을 하였으므로 피고 사무실에 서류를 가져와 복사하였고, 그 후에 경리직원 III씨의 반환요구에 의해서 복사한 자료에 위와 같이 III씨의 원본대조 확인을 받고 장부를 반환한 것이지요”라는 반대신문사항에 대하여 “예”라고 증언하기는 하였으나, 위 반대신문사항에는 임의제출 요구, 승낙, 서류의 반출, 반환요구, 원본대조 확인, 장부의 반환 등 다수의 사실관계가 포함되어 있어 증인이 위 사실관계 전부에 대하여 증언하였다고 단정하기 어려울 뿐만 아니라, 위와 같이 의문이 있는 증인신문내용을 명확히 하려는 취지로 이루어진 재주신문에서 “조사공무원들은 서류의 복사를 위해서 장부작성자인 경리직원 III씨와 증인에게 임의제출을 요구한 바, 증인이 승낙을 하였으므로 조사공무원들이 피고 사무실에서 서류를 가져가서 복사를 했다는 것이 맞나요”라는 신문사항에 대하여 증인 스스로 “증인이 승낙한 사실은 없습니다. 일방적으로 그렇게 하겠다고 통보를 하고 가져간 것입니다”라고 자세하게 증언한 점 등에 비추어 보면, 제1심 증인 FFF의 증언에 의하더라도, FFF가 서류의 반출 등에 동의하였다고 인정할 수 없다.

3. 구 국세기본법 제81조의4 제1항 은 ‘세무공무원은 적정하고 공평한 과세를 실현하기 위하여 필요한 최소한의 범위에서 세무조사를 하여야 하며, 다른 목적 등을 위하여 조사권을 남용해서는 아니 된다’라고 규정하고 있고, 구 조사사무처리규정 제30조 제2항 제1호는 ‘조사공무원은 세무조사를 실시하면서 조사편의 등의 목적으로 관련 법령 및 규정에서 정한 절차에 의하지 아니하고 임의로 관련 장부․서류 등을 압수․수색하거나 일시 보관하는 행위를 하여서는 아니 된다’라고 규정하고 있는바, ① 앞서 본 바와 같이 이 사건 세무조사 담당 세무공무원이 구 국세기본법 제81조의10 등이 정한 절차를 위반하여 납세자인 원고의 동의나 법원이 발부한 영장 없이, 이 사건 사무실에서 과세자료를 수색하고 전자정보를 사본한 다음, 서류 등을 압수하여 세무관서에 임의로 보관하였고, ② 당심 증인 GGG은 “업무시간 이내에 서류를 복사할 수 없을 것 같아 서류 등을 반출하였다”라는 취지로 증언하였는데, 구 조사사무처리규정 제40조 제1항 및 제2항은 ‘납세자의 증거인멸 우려 등으로 세무조사의 목적을 달성할 수 없다고 판단될 경우’ 또는 ‘조사진행 중 증거인멸 우려 등 긴급한 경우’ 등에 한하여 납세자의 장부 등을 세무관서에 일시 보관할 수 있도록 규정하고 있으므로, 위 증언과 같은 사유만으로는 증거인멸 우려 등 긴급한 경우에 해당한다고 볼 수 없고, 당시 이 사건 사무실에 있던 복사기가 제대로 작동되지 않았다 하더라도 이를 달리 볼 것은 아닐 뿐만 아니라, ③ 더 나아가 구 국세기본법 제81조의10 제1항 단서는 ‘목적에 필요한 최소한의 범위에서 일시 보관할 수 있다’라고 규정하고 있음에도, 당심 증인 GGG은“이 사건 사무실 복사기로 복사한 것은 복사가 깨끗하게 되지 않아 모두 파기하고, 세무서에서 전부 다시 복사하였다”라는 취지로 증언하여 이 사건 세무조사 당시 수색한 모든 서류를 압수한 것으로 보이는 점 등에 비추어 보면, 이 사건 세무조사 담당 세무 공무원은 법원이 발부한 영장이나 납세자 원고의 동의 없이 강제로 이 사건 사무실에서 과세자료를 수색하여 전자정보를 사본하였고, 구 국세기본법 제81조의4 제1항 등을 위반하여 증거인멸 우려 등 긴급한 경우에 해당하지 아니할 뿐만 아니라 원고의 동의도 없이 목적에 필요한 최소한의 범위를 넘어 모든 전자정보사본과 서류를 압수하여 세무관서에서 보관하는 방법으로 세무조사권을 남용하였다.

4. 피고들은 이 법원에 이르러 “이 사건 과세처분 이후 조사사무처리규정이 개정된 이력(제2253호, 제2305호)을 살펴보면, 증거인멸 우려 등 긴급한 경우 이외에 ‘ 국세기본법 제81조의6 제3항 의 각 호의 어느 하나의 사유’에 해당하여도 장부 등을 일시 보관할 수 있는 것으로 그 사유가 추가되었고, ‘다음 날까지 지방국세청장의 승인을 받아야 한다’는 단서 조항 또한 삭제되었는데, 이는 기존의 훈령이 그동안 실제적인 업무에 적용될 때 많은 어려움이 있어, 규정을 현실에 맞게 완화하여 개정한 것이다”라는 취지로 주장한다. 그러나 오히려 조사사무처리규정의 해당 조항은 2018. 5. 2. 국세청 훈령 제2253호로 개정된 것으로서, 이는 2017. 12. 19. 법률 제15220호로 국세기본법 제81조의10 이 개정되면서 ‘납세자의 동의’ 이외에 ‘ 국세기본법 제81조의6 제3항 각 호의 어느 하나의 사유에 해당하는 경우’라는 요건을 추가로 충족하여야만 세무공무원이 세무조사의 목적으로 납세자의 장부 등을 세무관서에 임의로 보관할 수 있도록 그 요건을 강화함에 따른 것이고, 나아가 개정 전에는 조사관서장의 사전 승인을 받고 관할 지방국세청장으로부터는 사후에 승인받도록 하였다가 개정 후에는 관할 지방국세청장의 사전 승인을 받도록 함으로써 그 통제방법도 더욱 강화한 것으로 보이는바, 위와 같은 피고들의 세무조사 관련 법령 등의 해석 태도는 위 법령 등 개정 취지에 정면으로 반한다.

5. 이 사건 세무조사 과정에서 발생한 위와 같은 절차적 하자에도 불구하고 이 사건 과세처분에 실체적 하자가 없다는 등의 이유로 이를 유지한다면 관련 법령이 명시적으로 규정한 행정절차는 실효성을 상실하는 점, 만일 이 사건 세무조사가 없었더라도 이 사건 과세처분이 가능하였다고 한다면 오히려 이 사건 세무조사의 실시 자체가 세무조사권의 남용에 해당하여 위법하게 될 뿐만 아니라, 당심 증인 GGG이 ‘이 사건 사무실로부터 반출하여 세무관서에 보관한 자료는 이 사건 과세처분에 중요한 것이었다”라는 취지로 증언하였으므로 위 과세자료가 없더라도 이 사건 과세처분이 가능하였다고 보기도 어려운 점 등을 보태어 보면, 임의조사원칙, 현장조사원칙 등에 대한 예외로서 법령 등이 규정한 절차를 모두 위반한 위 하자는 이 사건 과세처분을 취소하여야 할 정도로 중대하다.

그렇다면, 원고의 피고들에 대한 청구는 이유 있어 이를 모두 인용할 것인바, 제1심 판결은 이와 결론을 달리하여 부당하므로, 원고의 피고들에 대한 항소를 모두 받아들여, 제1심판결을 취소하고 이 사건 과세처분을 모두 취소하기로 하여, 주문과 같이 판결한다.