전체 글
-
-
-
pyspark read from S3카테고리 없음 2022. 11. 12. 14:56
access_key = "" secret_key = "" hadoop_conf=sc._jsc.hadoopConfiguration() hadoop_conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") hadoop_conf.set("fs.s3a.access.key", access_key) hadoop_conf.set("fs.s3a.secret.key", secret_key) s3RDD = sc.textFile("s3a:///weblogs/weblog.log")
-
-
[Docker] WSL2 ports are not availableCS 2022. 5. 28. 00:53
WSL2 를 백엔드로 Docker를 설치하여 컨테이너를 만드니 이러한 오류가 나왔다. docker: Error response from daemon: Ports are not available: exposing port TCP 0.0.0.0:4567 -> 0.0.0.0:0: listen tcp 0.0.0.0:4567: bind: An attempt was made to access a socket in a way forbidden by its access permissions. 확인해보니, 해당 포트(4567)이 사용을 하지 못하게 시스템으로 막아놓은 상태였다. 이때는 netsh interface ipv4 show excludedportrange protocol=tcp 를 입력하면 시스템에서 막아놓은 포..
-
[ML] Catboost wandb에 로그 올리기인공지능 2022. 5. 22. 03:09
Wandb(Weights & Biases) 란? Wandb 는 인공지능 실험(ML, DL)을 웹에서 학습과정을 모니터링 하고, 비교분석할 수 있는 Experiment Toolkit이다. 함께 언급되는 것은 Tensorboard등이 존재한다. Wandb는 Pytorch에서 사용시, 매 epoch을 반복할때마다 wandb.log를 사용하여 서버에 결과물을 업로드를 하는 형태를 취한다. import wandb wandb.init(config=args) model = ... # set up your model # Magic wandb.watch(model, log_freq=100) model.train() for batch_idx, (data, target) in enumerate(train_loader): o..
-
virtualenv : command not foundCS/파이썬 2022. 5. 18. 00:18
python3 -m pip install --user -V virtualenv 를 사용해 우분투 환경에 virtualenv를 설치했고, virtualenv를 사용하여 가상환경을 만들려고 하니 에러가 발생했다. root@73d24acef776:# virtualenv --python=python3 env bash: virtualenv: command not found virtualenv를 못찾겠다는 이슈인데.. 무엇이 문제일까 고민해보고 답을 찾았다! root@73d24acef776:# python3 -m virtualenv venv 설치를 할때 그냥 pip install이 아니라, python3 -m을 통해서 설치를 하였기때문에 python3 -m을 붙여주고 virtaulenv를 사용하니 아주 잘되었다.
-
[MLOps] Cloud 개념인공지능/부스트캠프 Ai Tech 2022. 5. 17. 13:54
클라우드에서 제공하는 서비스는 위와 같이 3가지로 나뉘는데, IaaS가 가장 많은 것을 컨트롤 할 수 있는 수준이다. Cloud 서비스의 다양한 제품 1. Computing Service(Server) 흔히 서버라고 불리며 연산은 수행해주는 서비스를 제공한다. CPU, Memory, GPU 등급을 선택할 수 있으며 인스턴스를 생성 후, 인스턴스에 들어가서 사용이 가능하다. 2. Serverless Computing Computing Service와 유사하지만, 서버 관리를 클라우드에서 진행한다. 코드를 클라우드에 제출하면, 그 코드를 서버에서 실행해주는 형태 Auto Scaling 기능을 제공해주며, Micro Service로 많이 활용한다. 3. Stateless Container Docker Imag..