Spark + Zeppelin + MongoDB + Kafka
Zepplin에서 Spark에 있는 실행파일에 접근할 수 있어야 한다.
•
Docker Compose에서 spark-master와 spark-worker를 설정 해 놨음
•
Zeeplin이 /opt/bitnami/spark 폴더에 접근 가능해야 함
•
volumes를 설정해서 저 폴더를 Zeppelin에서 접근하게 했음.
•
Zeppelin에서 계속 에러가 난다
◦
/opt/zeppelin/interpreter/spark/._spark-interpreter-0.11.1.jar
◦
/opt/zeppelin/interpreter/spark/scala-2.12/._spark-scala-2.12-0.11.1.jar
◦
위에 저 두 개 파일이 문제. 저걸 지워버렸더니 해결됐음.
•
Zeppelin에서 Python패키지 설치
docker exec -it zeppelin /bin/bash
pip install kafka-python
JavaScript
복사
