윈도우에서 AI 허브 오픈 API 'aihubshell' 이용하여 데이터 다운로드

다양한 AI 학습 데이터를 찾을 때 AI 허브에서 찾는 편인데요.
직접 다운로드 하는 방법도 있지만,
AI 허브에서 지원하는 aihubshell을 이용하여 데이터를 다운로드 하는 방법을 포스팅 하려 합니다.

AI-Hub

 

1. 리눅스 서버 준비

먼저, 환경을 준비해 줘야 하는데요. 리눅스 서버가 준비되어 있어야 합니다.

저는 윈도우에서 실행했기 때문에 WSL(Windows Subsystem for Linux: Windows 10과 Windows 11에서 Linux 환경을 실행할 수 있게 해주는 Microsoft의 기능)을 활용 했습니다!

 

1) 검색 창에서 cmd를 검색하여 관리자 권한으로 실행 후 아래 코드 실행

• WSL 설치

wsl --install

• 우분투 설치

wsl --install -d Ubuntu

 

- 위의 코드를 실행하면 자동으로 WSL2로 설치 되지만 최신 커널(WSL2)을 설치 하라는 오류가 나오면 아래 코드 실행

wsl --set-version Ubuntu

※ "Installing, this may take a few minutes..."가 뜬다면 잘 설치되고 있는 것이고 5분~10분 정도 소요됩니다!

 

• 계정 등록

- 설치 완료 후 사용자 계정과 비밀번호를 입력하라고 나오는데 각각 입력해주면 정상적으로 접속 됩니다!

 

 

2. aihubshell 다운로드 및 환경 준비

* 위에서 설치한 Ubuntu로 실행 *

1) aihubshell 다운로드

mminji@DESKTOP-VPB8CR3:~$ curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do

• `ls -al` 명령어로 aihubshell이 잘 설치 됐음을 확인

 

 

2) 실행 권한 부여

mminji@DESKTOP-VPB8CR3:~$ chmod +x aihubshell

 

 

3) 전역 실행 bin 등록

• 어느 위치에서든 aihubshell 명령어를 사용할 수 있도록 설정

mminji@DESKTOP-VPB8CR3:~$ sudo cp ~/aihubshell /usr/bin/
mminji@DESKTOP-VPB8CR3:~$ cd /usr/bin/
mminji@DESKTOP-VPB8CR3:/usr/bin$ ls -al | grep aihubshell

실행 권한 확인

 

 

4) 계정 정보 등록

mminji@DESKTOP-VPB8CR3:~$ export AIHUB_ID={사용자 계정 아이디}
mminji@DESKTOP-VPB8CR3:~$ export AIHUB_PW='{사용자 계정 비밀번호}'

mminji@DESKTOP-VPB8CR3:~$ env | grep AIHUB // 등록 확인

 

3. aihubshell 명령어로 데이터 다운로드

1) 키워드로 다운로드 하고자 하는 데이터 검색

• 저는 관광 음식메뉴판 데이터를 다운로드 할 것이므로 '관광' 이라는 키워드로 검색 했습니다.

mminji@DESKTOP-VPB8CR3:~$ aihubshell -mode l | grep 관광

71553이 해당 데이터의 datasetkey

 

2) 1번 과정에서 알아낸 datasetkey로 데이터 조회

mminji@DESKTOP-VPB8CR3:~$ aihubshell -mode l -datasetkey 71553

 

3) 해당 데이터가 맞다면 datasetkey로 데이터 다운로드

mminji@DESKTOP-VPB8CR3:~$ aihubshell -mode d -datasetkey 71553

// 파일 키 옵션을 추가해서 일부만 다운로드 하는 경우
mminji@DESKTOP-VPB8CR3:~$ aihubshell -mode d -datasetkey 71553 -filekey 485568,485569

• 계정 인증 후 데이터 다운로드 시작

 

 

4) 파일 윈도우 바탕화면으로 복사하기

 cp -r <파일명> /mnt/c/<저장할 나머지 경로>

 

 

5) 가상 환경에 있는 파일 제거

rm -rf <파일명>