flan 0.0.37

生成的条目总数等于-n参数值乘以-r参数值，在-s和-e参数开始和结束日期时间之间指定的时间范围内分布在选定的分布中。

或者如果要将输出流传输到stdout、kafka、splunk或其他流目标：

生成的条目总数等于-r参数值，在-s和-e参数开始和结束日期时间之间指定的时间范围内分布在选定的分布中。

如果您是连续流媒体（指定了-c）

忽略-e end datetime，flan流记录，直到达到settings.r_max（100000000），或者您按ctrl-c或关闭服务，或者直到它达到unix maxdate，或者您耗尽内存或其他东西，然后它出错：-）。指定--减慢速度。

注意：从v0.0.31开始，会话保留（-p）不再将生成的记录数限制为模板日志的大小。

从资源角度看，这要花多少钱？

内存是flan使用的主要资源。内存消耗主要受两个因素影响：

1. 使用的模板日志文件的大小，特别是其中唯一的用户代理字符串的数目，以及；

2. 需要在内存中缓存整个时间分布周期，以便在运行时"保持分布的形状"。-s和-e之间的秒数决定了此操作使用了多少内存。

一个500k的记录模板日志文件，其-n 10-r 100000在我的mac上使用的内存不足1gb。你的结果可能不同。使用flan的--profile开关查看内存消耗。

磁盘使用（如果使用的是文件模式）高度依赖于用户代理和请求路径的长度。对于我的测试文件，使用-n 10-r 1000000，我可以为每个文件获得大约250MB的存储空间，总共有2.5GB的磁盘空间。

CPU周期主要由我添加的隐藏比特币矿工占用（只是开玩笑…flan不是特别占用cpu的）。

我目前不支持跨时间分布时段边界保存会话。这意味着我必须同时缓存多个时间分布周期，这只会消耗内存。因此，例如，从午夜开始到结束日期之间的3天范围，使用正态分布和会话保留，创建了一个"3驼峰"模式，鞍在午夜，峰值在中午，会话保留在每天/驼峰内，但不跨越天/驼峰。

说明

flan是在python 3.7上开发和测试的（截至2019年7月）。它还没有在其他版本上测试过。

依赖关系

努比
python dateutil
吡喃＜Br/> 服务
ua解析器
用户代理
BOTO（如果使用AWS集成）
合流卡夫卡（如果使用卡夫卡集成）
fluent记录器（如果使用fluentd集成）
splunk sdk（如果使用splunk集成）
stomp.py（如果使用stomp mq集成）

安装

来自PIP

PIP安装法兰

来源于

1. 下载并将所有*.py文件、*requirements.txt文件和（可选）user-agents.json解压到您选择的安装目录。如果不运行单元测试，则不需要tests文件夹或其内容。这个练习留给读者。

2. （可选）设置python 3.7virtualenv并激活它。这个练习留给读者。

3. 安装依赖项要求。您可以选择首先注释掉不需要的任何集成依赖项：

   pip install-r requirements.txt

4. 运行setup.py:

   python setup.py安装

   选项：如果您（可能）希望以后卸载，请改为使用此命令记录安装过程中在本地创建的文件：

   python setup.py install--记录flanstalledfiles.txt

5. 运行：

   flan[arguments]template.log outputdir

卸载

xargs rm-rf<；flanstalledfiles.txt

更新

卸载，然后使用上面列出的相同安装说明重新安装。

语法和参数

交互模式（使用命令行参数）

文件输出：

flan -n <number of files to write> -r <number of records per file> [arguments] templatelogspec outputdir

流输出：

flan -c [-o outputtarget] [--pace] [arguments] templatelogspec

服务/后台程序模式（使用flan.config.yaml）

flan [ start | stop | status ]

通过参数和配置控制法兰

对于服务模式，请使用flan.config.yaml而不是命令行参数。每个条目将一对一映射到下面的一个参数。quiet（-q）、stats（-stats）、profile（-profile）和overwrite（-w）在服务模式下设置为固定默认值，如果在flan.config.yaml中设置，则忽略这些值。在交互模式下忽略flan.config.yaml。

<表><广告>命令行参数 定义 默认值 < /广告><正文>-a如果指定，请在模板日志中的任何（即第一个）不可解析条目上停止。跳过所有不可分析的条目-b，
——botfilteriff-u设置为"all"或"bots"，定义哪些bot出现在生成的日志文件中，其中之一：



all=使用模板日志和user-agents.json文件中的bots。已查看-c连续流模式。如果启用，则忽略-e设置，并连续传输条目，直到达到settings.r_max。-必须指定o。不可用于文件输出。无连续流媒体-d，
—— 定义时间戳在结果条目的期间（"形状"）的分布。其中之一：

normal=对时间维度使用以开始和结束日期时间中间为中心的正态分布；

random=使用随机（"喷枪爆炸"）分布。正常-e，
-end指定要用于生成的日志项的结束日期时间。所有日志项在此日期或之前都有时间戳。明天午夜本地/服务器时间-f，
-ipfilter如果提供，这应该用引号指定一个或多个可选IP和/或CIDR范围，模板日志文件中的所有条目都必须匹配才能用于生成输出日志。将只使用包含与其中一个或多个IP匹配的IP的行。在此处用逗号分隔一个或多个IP或CIDR；例如，'--ipfilter"123.4.5.6145.0.0.0/162001:db8:）/48"。在生成输出日志时，使用所有符合条件的模板日志行及其IP。-g，
-gzipgzip支持。它与传递的-n值一起使用，指定开始对生成的日志文件执行gzip操作的文件索引号。它必须介于0和提供的-n值之间。例如，"-n 5-g 3"生成名为"access.log"、"access.log.1"、"access.log.2.gz"、"access.log.3.gz"和"access.log.4.gz"的日志文件：总共5个文件，其中最后3个是gzip文件。0；不发生gzipping。-h在命令行中打印这些选项。-i
-inputsource输入源，其中之一：


file s=load template log（s）from one or more files as controlled by the flan.files.yaml config file's"import"section；


splunk=load template logs from the ncsa combined log format entries from the splunk server and index specified在flan.splunk.yaml文件的"导入"部分。文件-inputformat模板日志文件中每一行的格式（有效的NCSA组合日志格式字符串）。'$remote_addr-$remote_user[$time_local]"$request"$status$body_bytes_sent"$http_referer""$http_user_agent"-j连续流周期。如果使用连续流（-c），则以秒为单位定义单个时间分布周期的长度（1d=正好是24小时；不考虑闰分钟或闰日）。如果使用正态分布，则分布会如此长，且峰值位于正态分布的中间。86400秒（1天）-k如果指定，请在每个生成的日志条目行的开头和结尾添加单引号。不要添加引号。-l，
——linedelimiter要附加到所有生成的日志项的行分隔符，其中之一：

[n one，no，false，n，f]；
[comma，c]；
[tab，t]；
cr；
lf；
crlf。CRLF-m，
-ipmapping定义如何混淆IP，其中之一：

otm24=将一个IPv4映射到最多255个IPv4/24地址，或将一个IPv6映射到最多约65K个IPv6/116地址（会话销毁）；


oto24=将一个IPv4/IPv6地址映射到同一/24或/116块中的一个IPv4/IPv6地址（session preserving）；

oto16=将一个IPv4/IPv6地址映射到同一/16或/116块（会话保留）内的一个IPv4/IPv6地址；

off=不混淆IP（会话保留）。

如果指定了-p，"oto24"。如果未指定-p，"otm24"。-meta替换旧的--stats参数。收集并发出（最后）元数据，以及生成的所有日志项的每小时累计计数。使用此选项可标识日志文件的源，并验证所选分发版的分布。不会发出meta。-n，
——numfiles要生成的access.log文件总数。最小值=1，最大值=1000。示例：'-n 4'在输出目录中创建access.log、access.log.1、access.log.2和access.log.3。-nouatag如果指定，则从生成的日志文件的用户代理值中排除"flan/<；version>；"（https://bret.guru/flan" rel="nofollow">https://bret.guru/flan）。将flan ua标记附加到所有生成的ua。-o流模式输出目标。如果指定，则忽略输出目录和-n标志值，并将所有输出流传送到指定目标。其中之一：

fluentd=流到fluentd远程，如flan.fluentd.yaml配置文件的"导出"部分中定义的




stdout=流到stdout没有流输出。输出将写入提供的输出目录中的文件。-outputformat生成的日志中单个发出条目的格式。有效的NCSA组合日志格式字符串，或两个特殊值之一：

json=以json格式发送条目；

'$remote_addr-$remote_user[$time_local]"$request"$status$body_bytes_sent"$http_referer""$http_user_agent"-p会话保存。如果指定，则通过在生成的日志中维护模板日志中请求路径的时间索引顺序，并为模板日志中找到的每个IP保留相同的UA POST IP模糊处理来保留会话。-m ipmapping设置必须设置为"onetoone"或"none"。没有会话保存。请求路径在生成的时间分布中随机分配，破坏会话。速度踱步。如果指定，则在生成日志项时将生成的日志记录中的时间戳与当前时钟时间同步，以便以明显的"实时"方式发出日志项。日志时间戳中的每一秒对应于实时排放时间的一秒。默认设置为无速度调整；尽可能快地发出条目。-q巴什式的标准输出。普鲁斯特喜欢标准输出。-r，
-records每个生成的日志文件要写入的条目数。最小值=1，最大值=100米。如果指定了-c，则为100000000如果未指定-c，则为
10000 -s，
——start指定要用于生成的日志项的开始日期时间。所有日志项在或AFTE上都有时间戳r此日期。今天午夜本地/服务器时间-t，
-timeformat要在生成的日志文件中使用的时间戳格式，不包括时区（请参见-z参数），采用python strftime格式（请参见http://strftime.org/" rel="nofollow">http://strftime.org/）。'%-d/%b/%y:%h:%m:%s'-u，
-uafilter定义将出现在生成的日志文件中的用户代理类型，其中之一：



所有-v打印版本号并立即退出。-w如果指定，则覆盖已存在的任何生成的日志文件。这张支票是在写任何东西之前开的。如果已经存在错误，则返回错误，保留所有错误不变。-x，
——regex自定义正则表达式匹配。指定要用作模板日志中条目的逐行筛选的自定义正则表达式。日志生成中只包括与正则表达式匹配的行；不匹配的行将被排除。模板日志文件中所有符合条件的行都用于生成日志。—年重播日志记录。如果指定，则启用重播日志。重播日志记录在第一次执行时解析模板日志文件，并将解析的结果存储在与flan.py位于同一目录的二进制"flan.replay"文件中。在随后的执行中，flan将加载已经解析的重播日志，而不是重新解析模板日志文件，从而在重复使用相同的大型模板日志时节省大量时间。一旦创建，重播日志就不会被覆盖或删除；如果需要，请先手动删除它，以便在下次flan运行时重新创建它。如果存在重播日志但未指定-y，则将忽略重播日志（既不读取也不覆盖）。不要使用重播日志；每次都分析模板日志，并忽略任何现有的重播日志。-z，
——timezonehhmm格式的时区偏移量，用于附加到生成的日志文件中的时间戳，或传递""以指定无时区。您当前的本地/服务器时区。

---

在哪里可以使用access.log文件进行测试？

测试日志文件位于"测试"文件夹中。

这是另一个资源：

https://gist.github.com/rm hull/bd60aed44024e9986e3c

或者，只需谷歌"example access.log files"。

---

未来的增强功能

当然：

1. 集成：各种aws服务，google云发布/订阅，redis发布/订阅，apache flume，apache pulsar，apache nifi…如果您想要集成、询问或提交PR。

可能：

1. 能够指定特定cidr、asnum块、ip范围等的生成。这有特定的用例；

2. 能够将自定义数据注入到用户代理字段中，或以特定方式（将用户代理映射到另一个用户代理）更改用户代理以进行下游标记/检测；

3. 支持特定用例的其他时间分布。示例：模拟不太可能的事件/ddos的重尾poisson分布、模拟api/restful活动的离散/退化分布等。有关注意事项，请参见：
   https://en.wikipedia.org/wiki/web_traffic
   https://www.nngroup.com/articles/traffic log-patterns
   https://en.wikipedia.org/wiki/traffic_generation_model
   https://en.wikipedia.org/wiki/list\u of\u probability\u发行版

---

引文

crawler-user-agents.json版权所有（c）2019 martin monperrus
https://github.com/monperrus/crawler-user-agents/blob/master/crawler-user-agents.json

---

免责声明

本软件中包含的材料按"原样"提供给您，无任何形式的明示、暗示或其他保证，包括但不限于任何特定用途的适用性保证。您对本软件的全部或部分使用表明您同意，对于任何形式的直接、特殊、附带、间接或后果性损害，或任何损害，包括但不限于利润损失、使用损失、节省或收入损失，我不对您或任何其他人负责。，或第三方的索赔，无论我是否已被告知此类损失的可能性，无论是由何种原因造成的，以及根据任何责任理论，由本软件的拥有、使用或性能引起的或与之相关的。

欢迎光临！

标签：

• 文件
• log
• amazon
• access
• 系统
• 格式
• splunk
• activemq
• ncsa

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• fast-youtube-search

  不受限制的youtube搜索和网页报废

• gpwebpa

  基于Python的GPWebPay网关访问

• django-classy-start

  一个命令行实用程序，用于以最高级的方式启动Django项目和应用程序

• python-cbr

  阅读官方汇率数据cbr.ru公司

• dynalist-to-md-joegnis

  将从dynalist导出的文本转换为Markdown文本的工具

• dataschool

  全套数据分析工具（数据转换、聚类、图形）

• airobots

  针对Android/iOS/Windows/Linux/Web上的游戏和应用程序的UI测试自动化框架

• smax-gcp

  未提供项目说明

• TOPSIS-Shimantika-101803273

  实现TOPSIS技术的Python包。

• answerer

  一个系统，输出一个很好的链接列表，以加快问题的回答。

• cupy-cuda111

  CuPy：一个由CUDA加速的numcompatible数组库

• jupyterlab-nbgaller

  用于NBGallery集成的JupyterLab扩展

• apache-airflow-providers-cloudant

  ApacheAirflowProvidersLoudant for ApacheAirflow提供程序包

• dispander

  不一致消息URL扩展器

• python-iotbot

  带python的IoBot SDK！