티스토리 뷰
Stack Overflow에 자주 검색, 등록되는 문제들과 제가 개발 중 찾아 본 문제들 중에서 나중에도 찾아 볼 것 같은 문제들을 정리하고 있습니다.
Stack Overflow에서 가장 먼저 확인하게 되는 가장 높은 점수를 받은 Solution과 현 시점에 도움이 될 수 있는 가장 최근에 업데이트(최소 점수 확보)된 Solution을 각각 정리하였습니다.
아래 word cloud를 통해 이번 포스팅의 주요 키워드를 미리 확인하세요.
importing pyspark in python shell
파이썬 쉘에서 pyspark 가져오기
문제 내용
This is a copy of someone else's question on another forum that was never answered, so I thought I'd re-ask it here, as I have the same issue. (See http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736)
이 질문은 다른 포럼에서 답변을 받지 못한 다른 사람의 질문을 복사한 것입니다. 저도 같은 문제가 있어서 여기서 다시 물어보겠습니다. (http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736 참조)
I have Spark installed properly on my machine and am able to run python programs with the pyspark modules without error when using ./bin/pyspark as my python interpreter.
제 컴퓨터에 Spark가 제대로 설치되어 있으며 ./bin/pyspark를 사용하여 python 프로그램을 오류 없이 실행할 수 있습니다.
However, when I attempt to run the regular Python shell, when I try to import pyspark modules I get this error:
하지만 일반 Python 쉘에서 실행하려고 할 때, pyspark 모듈을 가져오려고 하면 다음과 같은 오류가 발생합니다.
from pyspark import SparkContext
and it says
그리고 다음과 같이 나옵니다.
"No module named pyspark".
How can I fix this? Is there an environment variable I need to set to point Python to the pyspark headers/libraries/etc.? If my spark installation is /spark/, which pyspark paths do I need to include? Or can pyspark programs only be run from the pyspark interpreter?
이를 어떻게 고칠 수 있을까요? Python을 pyspark 헤더/라이브러리 등을 가리키는 환경 변수를 설정해야 하는가요? Spark 설치 경로가 /spark/인 경우 포함해야 하는 pyspark 경로는 어떤 것인가요? 아니면 pyspark 프로그램은 pyspark 인터프리터에서만 실행할 수 있는 건가요?
높은 점수를 받은 Solution
Assuming one of the following:
다음 중 하나가 가정됩니다.
- Spark is downloaded on your system and you have an environment variable
SPARK_HOME
pointing to it - You have ran
pip install pyspark
시스템에 Spark가 다운로드되어 있고 환경 변수 SPARK_HOME이 가리키고 있습니다.
pyspark를 pip를 사용하여 설치했습니다.
Here is a simple method (If you don't bother about how it works!!!)
다음은 간단한 방법입니다 (어떻게 작동하는지 신경 쓰지 않는다면!!!).
Use findspark
findspark를 사용하세요.
pip install findspark
import findspark
findspark.init()
from pyspark import SparkContext
from pyspark import SparkConf
- Done!!!
끝!!
가장 최근 달린 Solution
You can get the pyspark path
in python using pip
(if you have installed pyspark using PIP) as below
만약 pyspark를 pip를 사용하여 설치한 경우, 아래와 같이 pip를 사용하여 pyspark 경로를 얻을 수 있습니다.
pip show pyspark
출처 : https://stackoverflow.com/questions/23256536/importing-pyspark-in-python-shell
'개발 > 파이썬' 카테고리의 다른 글
Python에서 numpy를 사용하여 TIFF(가져오기, 내보내기) 작업 (0) | 2023.02.27 |
---|---|
딕셔너리에서 키가 존재하는지 확인하고 값 증가시키기 (0) | 2023.02.26 |
리스트에서 특정 값을 모두 제거하기 (0) | 2023.02.26 |
왜 math.log 함수는 ValueError: math domain error를 발생시키나요? (0) | 2023.02.25 |
사전에 값이 있는지 확인하기 (0) | 2023.02.24 |