2022-08-01 09:50:09 +08:00
|
|
|
|
\chapter{开发平台}
|
2022-08-30 12:16:02 +08:00
|
|
|
|
基于端到端的模型往往很难在预测真实场景的数据上有好的表现，我们在解决具体业务问题时，需要根据真实数据的特点，进行个性化的建模。\\
|
|
|
|
|
|
\indent
|
|
|
|
|
|
因此，本章节将基于Tensorflow和Pytorch框架，将可执行的代码与建模解决实际问题的方案相结合，使用者可以基于代码和建模思路，与自己的应用场景相结合，选择合适的建模方式解决问题。\\
|
|
|
|
|
|
\indent 此外，本章节还集成了sklearn用于科学计算的使用方法，以及其他经典框架、算法的具体应用实例，以方便使用者进行比较和使用。
|
2022-08-01 09:50:09 +08:00
|
|
|
|
\section{Tensorflow}
|
2022-08-30 12:16:02 +08:00
|
|
|
|
TensorFlow$^\text{TM}$,是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现。TensorFlow由谷歌人工智能团队谷歌大脑(Google Brain)开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口。
|
|
|
|
|
|
\subsection{基于交互式匹配的文本匹配算法}
|
|
|
|
|
|
\subsubsection{模型介绍}
|
|
|
|
|
|
交互式(Interaction-based)匹配是指将两个文本拼接在一起当成单文本进行分类，原本是信息检索中用于判断两条查询是否匹配的技术。在上文介绍的语义匹配中，我们使用了交互式匹配的方法来判断两句文本是不是同义。这里我们将给出建模的示例。
|
|
|
|
|
|
\subsubsection{建模示例}
|
|
|
|
|
|
建模及训练过程详见：
|
|
|
|
|
|
\begin{Verbatim}[]
|
|
|
|
|
|
/example/TensorFlow/semantic_match.html
|
|
|
|
|
|
\end{Verbatim}
|
2022-08-01 09:50:09 +08:00
|
|
|
|
\section{PyTorch}
|
2022-08-30 12:16:02 +08:00
|
|
|
|
Pytorch是一个开源的机器学习框架，它可以加速从科研原型到实际生产部署这一过程。
|
|
|
|
|
|
\subsection{基于UNet的光伏图像分割教程}
|
|
|
|
|
|
\subsubsection{模型介绍}
|
|
|
|
|
|
光伏图像的分割是深度学习在遥感图像方面的重要应用之一，其目的是从图像中识别出光伏板区域，并加以区分。
|
|
|
|
|
|
segmentation\_models\_pytorch是基于Pytorch的开源图像分割模型框架，平台基于该框架为例介绍如何实现并训练一个图像分割的Unet模型。
|
|
|
|
|
|
\subsubsection{建模示例}
|
|
|
|
|
|
代码示例详见：
|
|
|
|
|
|
\begin{Verbatim}[]
|
|
|
|
|
|
/example/PyTorch/smp_example.html
|
|
|
|
|
|
\end{Verbatim}
|
2022-08-01 09:50:09 +08:00
|
|
|
|
\section{Sklearn}
|
2022-08-30 12:16:02 +08:00
|
|
|
|
\section{其他经典框架或模型}
|
|
|
|
|
|
\subsection{eXtreme Gradient Boosting(Xgboost)}
|
|
|
|
|
|
\subsubsection{模型介绍}
|
|
|
|
|
|
xgboost是基于boost的大规模并行树形模型，在很多kaggle任务中都取得了良好的表现。平台以前文的波士顿房价预测项目为例，给出基于Xgboost进行回归预测的代码示例。
|
|
|
|
|
|
\subsubsection{建模示例}
|
|
|
|
|
|
代码示例详见：
|
|
|
|
|
|
\begin{Verbatim}[]
|
|
|
|
|
|
/example/Others/xgboost.html
|
|
|
|
|
|
\end{Verbatim}
|
|
|
|
|
|
\subsection{Prophet}
|
|
|
|
|
|
\subsubsection{模型介绍}
|
|
|
|
|
|
Prophet是由Facebook公司提出端到端的时间序列建模预测工具，拥有Python和R语言两个版本。它能够提供完整的自动化预测，也允许使用者根据需求自主调试。Prophet仅需要时间和历史值两列数据作为输入。平台以光伏发电的时间序列为例，给出Prophet模型由建模到分析的示例。
|
|
|
|
|
|
\subsubsection{建模示例}
|
|
|
|
|
|
代码示例详见：
|
|
|
|
|
|
\begin{Verbatim}[]
|
|
|
|
|
|
/example/Others/prophet.html
|
|
|
|
|
|
\end{Verbatim}
|
