用于jupyter笔记本的spark sql magic命令
sparksql-magic的Python项目详细描述
sparksql魔术
用于jupyter笔记本的spark sql magic命令。
先决条件
- python=3.6
- Pyspark=2.3.0
- ipython=7.4.0
安装
pip install sparksql-magic
用法
负荷
%load_ext sparksql_magic
配置
%config SparkSql.max_num_rows=<INT>
| Option | Default | Description |
|---|---|---|
| ^{ | 20 | The maximum number of rows to display |
参数
%%sparksql [-c] [-v VIEW] [variable]
<QUERY>
| Parameter | Description |
|---|---|
| ^{ | Cache dataframe |
| ^{ | Cache dataframe with eager load |
| ^{ | Create or replace temporary view |
| ^{ | Capture dataframe in a local variable |
欢迎加入QQ群-->： 979659372
