본문 바로가기

빅데이터48

[SAS] SAS를 이용해 두개의 데이터셋의 변수들이 일치하는 기준으로 merge해서 붙이기 SAS를 이용해 두개의 데이터셋의 변수들이 일치하는 기준으로 merge해서 붙이기 이게 무슨 말인가? 두개의 데이터셋이 있는데 변수들의 값이 일치하는 것끼리 붙여버리는 것입니다. 말로 설명하는데는 한계가 있으니 사진을 참고 하시기 바랍니다. ex1과 ex2라는 두개의 데이터 셋이 있습니다. 같은 변수도 있고 다른 변수들도 있는데~ key와 name이라는 변수들이 일치하는 기준으로 두개의 데이터셋을 하나로 합치는 것입니다. ex3을 보시면 제대로 붙었다는 것을 확인 할 수가 있습니다. sort와 merge는 자주 사용하는 것이니 잘 알아두시면 유용하게 쓰일거라 생각됩니다. 2013. 11. 15.
[My Story] SAS와 커뮤니케이션 스킬 SAS에 대한 글을 작성 할 때 마다 항상 고민이 됩니다. 주어진 데이터에 대해 설명을 하고 거기에 대한 코딩 해석과 정보에 대해 전달을 하고 싶지만 이 모든 것을 그림과 텍스트를 통해서 전달하려니 이만 저만 어려운 것이 아닙니다. 업무를 진행하면서도 통계와 SAS에 대해 잘 모르는 사람과 일을 할 시에 상대가 요구하는 것이 무엇인지 정확하게 파악하는 것이 중요한데 상대도 SAS의 구조에 대해 잘 모르니 이렇게? 저렇게?해서 해달라고 요청을 하지만 중간에 말 한마디 전달이 잘못되면 작업을 다시 해야되는 경우가 많습니다. 그만큼 커뮤니케이션 스킬이 중요한 것 같습니다. 지금은 이 블로그도 시작단계이기 때문에 제가 전달하고자 하는 정보가 100% 전달되지는 않을 것입니다. 앞으로 지속적으로 발전하여 SAS,.. 2013. 11. 15.
[SAS] SAS를 이용해 joinkey별로 code에 중복자료가 있을시 모두 출력하기 SAS를 이용해서 joinkey별로 code에 중복자료가 있을 경우 중복된 값 뿐만 아닌 중복값에 해당하는 joinkey데이터를 모두 불러오는 방법을 알아 보도록 하겠습니다. 위의 사진과 같이 데이터가 조인키별로 코드가 있는 데이터가 있습니다. 만약 조인키별 코드가 중복값이 있을 경우 그에 해당하는 조인키에 대한 관측치 모두를 출력해 보도록 하겠습니다. 위와 같이 sas 코딩 후 실행을 시키면 코드중복이 있는 조인키에 대한 모든 값들을 출력할 수가 있습니다. 조인키 3과 4는 코드가 중복된 것이 없기에 출력이 되지 않습니다. statsbigdata.com 김진휘 2013. 11. 15.
[SAS] SAS를 이용해 joinkey별 동일한 code의 갯수를 비교후 많은 것들만 출력 SAS를 이용해서 조인키별로 동일한 code값을 많이 가진 값만 데이터를 출력하는 방법이다. 바로 앞에 게시했던 데이터를 이용하며, 연결되어 코딩을 실시하였다. http://statsbigdata.com/13 코딩은 위의 게시글과 연결된다고 보면 된다. 위와 같은 데이터와 조건을 가지고 출력결과와 같이 데이터를 생성해 보고자 한다. 코딩을 해보자. 저번 게시글의 코딩에서 연결된 것이다. 이번 게시글에 관련된 코딩은 주석으로 표시한 두번째 데이터셋 관련 코드이다. 당연히 실행하기 위해서는 연결된 것이니 코딩은 전체적으로 다 입력해야하겠죠?? 위의 사진과 같이 조인키별 코드가 많은 것에 대한 각각의 값들을 출력해 보았다. statsbigdata.com 김진휘 2013. 11. 15.
[SAS] SAS를 이용해 조인키별로 그룹에 대해 값과 합계 구하기 SAS를 이용해서 조인키(joinkey)별로 코드의 갯수가 많은 것에 대한 값의 합계를 구해보자. 위와 같은 데이터가 주어진다면 오른쪽 출력결과와 같이 joinkey별로 동일한 code의 갯수를 비교후 많은 code에 대한 값(amt)의 합계를 출력해 보는 것이다. 위와 같이 코딩하면 스크린샷처럼 조인키별 코드값이 큰 것들에 대한 amt의 합계를 출력할 수 있다. statsbigdata.com 김진휘 2013. 11. 15.
[SAS] SAS를 이용해 두개의 데이터 비교후 큰 값과 그에 따르는 값들을 함께 출력하기 SAS를 이용해 두개의 데이터 비교후 큰 값과 그에 따르는 값들을 함께 출력하기 값을 가지는 두개의 변수를 비교해서 큰값과 그에 따르는 다른 변수들을 함께 출력하는 방법입니다. 위와 같이 가격을 비교해서 높은 값을 가지는 가격에 대한 품명과 종류를 함께 출력해봅시다. c변수와 c1을 비교하여 높은 값을 가지는 것을 선택하고 그에 따른 a,b 또는 a1,b1을 가격과 함께 출력하는 것입니다. 두 값 비교해서 큰 값 또는 작은 값을 출력하고 싶을 때 응용하여 사용할 수 있습니다. 김진휘 2013. 11. 14.
[SAS] SAS 그룹별로 가장 큰 값의 데이터만 출력하는 방법 SAS를 이용하여 그룹별로 가장 큰 값을 가진 데이터만 출력하는 방법입니다. 예제데이터로 해본다면 가게별로 가격이 가장 큰값을 가진 데이터만 출력해 보겠습니다. 이런 예제 및 코딩을 응용해 실무에서 그룹별 가장 큰 데이터를 추출할 때 요긴하게 사용될 것입니다. 데이터는 위와 같은 구조이며 결과는 위와 같이 각 그룹(가게)별 값(가격)이 가장 큰 데이터만 출력합니다. 위와 같이 따라하시면 결과가 나옵니다. 실무에서 그룹별 큰값을 추출하고 싶을때 응용해서 요긴하게 사용하시기 바랍니다. 김진휘 2013. 11. 14.
[SAS] proc compare 데이터셋 비교하기 이렇게 a, b 두개의 데이터셋이 있다. 예제는 관측치가 작아서 눈으로 다르다는 것이 확인이 되지만 실무에서 쓰는 대용량의 데이터는 이렇게 확인하는 것이 어렵다. 오늘 알아볼 것은 두개의 데이터셋에 대한 차이를 proc compare을 사용해 확인해보는 것이다. proc compare →서로 같은지 다른지 확인이 안되는 두개의 데이터셋에 대한 차이를 비교해 볼 수 있다. 데이터셋 a와 b의 관측치의 수가 같을 경우 : 서로 다른 변수만 찾아 출력, 두 값을 비교해준다. 데이터셋 a의 관측치가 b의 관측치 보다 많은 경우 (a 관측치 수 > b 관측치 수) : 다른 관측치의 수를 출력. a와 b의 관측치의 수가 동일한 영역까지만 비교 데이터셋 a의 관측치가 b의 관측치 보다 적은 경우 (a 관측치 수 < .. 2013. 10. 14.
[SAS] SAS 프로그램 실행과 환경설정 (SAS 9.1) [ SAS 9.1 실행] 바탕화면에 설치된 SAS아이콘을 더블 클릭하여 SAS를 실행한다. 프로그램이 실행되면서 위와 같은 화면이 나타난다. [SAS 화면구성] SAS에서 거의 대부분 가장 많이 사용하는 창은 확장편집기 창, LOG 창, OUTPUT 창 이 세가지 창을 가지고 작업을 한다. 1. 확장편집기 창 SAS 프로그램을 작성하는 창으로 위와 같이 Coding 작업을 할 수 있는 공간을 확장편집기 창이라고 한다. 2. LOG 창 위의 그림은 코딩한 프로그램을 F3(프로그램 실행 단축키)을 눌러 실행 했을 때 프로그램 컴파일 과정 및 오류사항을 출력하는 화면이다. 이 화면을 LOG창이라고 한다. 작업한 코딩이 에러를 발생하는 경우 빨간색 글로 오류사항이 표시되고 초록색 글로 warning에 대하여 설.. 2013. 10. 14.
[Statistics, 통계] 연관성 분석, 척도 일반적으로 연구를 진행할 때, 한가지 변수로만 연구를 하는 경우는 거의 없다. 여러가지 변수를 가지고 연구를 하게 되는데, 여러가지 변수들 간에 어떠한 연관성을 가지고 있는지 확인하는 것이 중요하다. ⊙ 연관성 분석 : 변수들 간의 관계를 파악하는 분석 ⊙ 연관성 분석 방법 - 상관분석 : 변수가 등간 척도 / 비율 척도인 경우 - 교차분석 : 변수가 명목 척도 / 서열 척도인 경우 ☞ 척도는 무엇인가? ☞ 등간, 비율, 명목, 서열은 무엇인가? ⊙ 척도 : 사물이나 사람의 특성을 수량화 하기 위해 체계적인 단위로 숫자를 부여한 것 1. 양적 자료의 척도 ① 등간 척도 자료를 분류, 서열을 결정, 거리 or 간격 부여 - 양적인 차이 표시 가능 - 절대적 크기 나타내지 못함(비율의 계산 불가능) - 가감.. 2013. 10. 14.
[BIGDATA] 빅데이터의 정의(Value를 포함한 4V 측면) 지금은 빅데이터 세상 ! TV, 라디오, 인터넷, 신문, 잡지등 많이 듣고 볼 수 있는 것들이 빅데이터이다. 많은 사람들이 살아가면서 빅데이터들을 듣고, 접하지만 빅데이터에 관해 자세히 알지는 못한다. 이 글을 읽는 당신에게 질문하여 본다. 빅데이터가 무엇입니까? 대부분의 사람들은 큰 데이터? 대용량 데이터? 이런 식으로 답변들을 한다. 절대 틀린 이야기는 아니다. 하지만 부족함이 조금 느껴질 것이다. 빅데이터에 대해서 간단하고 쉽게 알아보자! 빅데이터(big data)를 한 줄로 요약해본다면? → 데이터의 생성 양과 주기 및 형식 등이 방대한 데이터 빅데이터(big data)에서 3V, 4V는 무엇인가? 빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(ve.. 2013. 10. 14.
[My Story] 세상에서 가장 쉽게 빅데이터와 통계를 정복하는 블로그 개설! 빅데이터의 중요성을 매일 강조하는 이 세상 통계학문과 SAS 통계 패키지 프로그램들... 모두 어려워 하고 누구하나 초등학생들도 알아들을 만큼 쉽게 가르쳐 주는 사람이 없다. 무엇이 그리 어렵고, 진지하며 복잡한 것들인가? 결국 사람이 만들어내고, 이용하고, 말하는 것들 쉽게쉽게 빅데이터와 통계 그리고 SAS에 대해 함께 공부 해보자. 2013. 10. 14.