尝试查询mssql数据库时出现气流Fernet_密钥问题

Question

我对气流很陌生。我已经阅读了几次文档，阅读了大量的S/O问题和许多随机的在线文章，但是还没有解决这个问题。我觉得我做错了一件非常简单的事。 我有Docker for Windows，我提取了puckel/docker-airflow映像，并运行了一个暴露了端口的容器，这样我就可以从主机上访问UI了。我有另一个运行mcr.microsoft.com/mssql/server的容器，我在其中恢复了WideWorldImporters示例数据库。在Airflow UI中，我能够成功地创建到这个数据库的连接，甚至可以从数据分析部分查询它。检查以下图像： Connection CreationSuccessful Query to Connection

因此，虽然这样做，我的dag在第二个任务sqlData失败。代码如下：

from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
from airflow.operators.mssql_operator import MsSqlOperator
from datetime import timedelta, datetime

copyData = DAG(
    dag_id='copyData',
    schedule_interval='@once',
    start_date=datetime(2019,1,1)
)


printHelloBash = BashOperator(
    task_id = "print_hello_Bash",
    bash_command = 'echo "Lets copy some data"',
    dag = copyData
)

mssqlConnection = "WWI"
sqlData = MsSqlOperator(sql="select top 100 InvoiceDate, TotalDryItems from sales.invoices",
                       task_id="select_some_data",
                       mssql_conn_id=mssqlConnection,
                       database="WideWorldImporters",
                       dag = copyData,
                       depends_on_past=True
          )

queryDataSuccess = BashOperator(
    task_id = "confirm_data_queried",
    bash_command = 'echo "We queried data!"',
    dag = copyData
)

printHelloBash >> sqlData >> queryDataSuccess

最初的错误是：

^{pr2}$

我注意到这与密码学有关，于是我继续运行pip install cryptography和{}，两个程序都返回了完全相同的结果，通知我需求已经得到满足。最后，我找到了一个东西，上面写着我只需要生成一个fernet_密钥。my中的默认键气流.cfg文件是fernet_key = $FERNET_KEY。因此，在我运行的容器中的cli中：

python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"

得到了一个我用$FERNET_KEY替换的代码。我重新启动容器并重新运行dag，现在我的错误是：

[2019-02-22 16:22:13,641] {{models.py:1760}} ERROR -   
Traceback (most recent call last):  
  File "/usr/local/lib/python3.6/site-packages/cryptography/fernet.py", line 106, in _verify_signature
    h.verify(data[-32:])  
  File "/usr/local/lib/python3.6/site-packages/cryptography/hazmat/primitives/hmac.py", line 69, in verify
    ctx.verify(signature)  
  File "/usr/local/lib/python3.6/site-packages/cryptography/hazmat/backends/openssl/hmac.py", line 73, in verify
    raise InvalidSignature("Signature did not match digest.")  
cryptography.exceptions.InvalidSignature: Signature did not match digest.

从最初的加密文档扫描中，哪一个与兼容性有关？在

我现在不知所措，决定问这个问题，看看我是否有可能走上了解决这个问题的错误道路。任何帮助将不胜感激，因为气流看起来棒极了。在

Answer 1

多亏了@Tomasz的一些侧面交流，我终于让我的达格开始工作了。他建议我尝试使用docker compose，它也在puckel/docker airflow github repo中列出。最后我使用了docker compose-本地执行人文件而不是芹菜执行器。有一些小的故障排除和更多的配置，我也必须经历。首先，我使用现有的MSSQL容器（其中包含示例数据库）并使用docker commit mssql_container_name将其转换为图像。我这样做的唯一原因是为了节省恢复备份示例dbs的时间；如果需要，您可以随时将备份复制到容器中，并在以后恢复它们。然后我将我的新图像添加到现有的docker compose中-本地执行器.yml文件如下：

version: '2.1'
services:
    postgres:
        image: postgres:9.6
        environment:
            - POSTGRES_USER=airflow
            - POSTGRES_PASSWORD=airflow
            - POSTGRES_DB=airflow

    mssql:
        image: dw:latest
        ports:
            - "1433:1433"

    webserver:
        image: puckel/docker-airflow:1.10.2
        restart: always
        depends_on:
            - postgres
            - mssql
        environment:
            - LOAD_EX=n
            - EXECUTOR=Local
        #volumes:
            #- ./dags:/usr/local/airflow/dags
            # Uncomment to include custom plugins
            # - ./plugins:/usr/local/airflow/plugins
        ports:
            - "8080:8080"
        command: webserver
        healthcheck:
            test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
            interval: 30s
            timeout: 30s
            retries: 3

请注意，dw是我命名的基于mssql容器的新映像。接下来，我将文件重命名为justdocker-合成.yml这样我就可以轻松地运行docker-compose up（不确定是否有命令可以直接指向不同的YAML文件）。当一切正常运行后，我导航到Airflow UI并配置我的连接。注意：因为您使用的是docker compose，所以您不需要知道其他容器的IP地址，因为它们使用的是DNS服务发现，这是我发现的关于here。然后为了测试连接，我去了数据分析来做一个即席查询，但是连接不存在。这是因为puckel/docker气流图像没有安装pymssql。把它安装到容器里。退出容器并使用docker-compose restart重新启动所有服务。一分钟后，一切都恢复正常。我的连接出现在即席查询中，我可以成功地选择数据。最后，我打开了我的DAG，调度员拿起它，一切都很成功！花了几个星期的谷歌搜索后，超级放心了。感谢@y2k shubham的帮助，并对@Tomasz表示了极大的感谢，他在r/datascience subreddit上发表了一篇关于气流的精彩而透彻的帖子后，我最初联系了他。在