SQLServer Integration Service

　SQLServerにはIntegration Serviceが付属しています。SSISと省略しますが、単独でも使用できるかなり便利なETLツールです。特徴ですが、基本的には、制御フローで制御構造を作成し、データフローでデータ変換の中身を記述します。データをデータベースにロードしたり、出力したりする場合、プログラムを作成している方も多いと思いますが、プログラムの作成は必要なく、ドラッグアンドドロップでコンポーネントを配置し、データの流れを接続するというだけで動作が記述できます。SSISでの開発はVisual Studioを使用します。SQL Server Datatoolsを導入すると自動的にインストールされます。

https://docs.microsoft.com/ja-jp/sql/ssdt/download-sql-server-data-tools-ssdt?view=sql-server-2017

 Visual Studioを立ち上げ、SSISのプロジェクトを選択すると開発を始めることができます。

古くはホストコンピュータでバッチ処理を記述した方がいれば、制御フローがJCLに当たり、データフローが各プログラムに当たるということが理解いただけるのではないでしょうか。
　データフローですが、データ変換にかかわる色々なコンポーネントが含まれます。データのレイアウトを変更したり、ソート・マージといった処理はかなりの数作成しないといけないと思いますが、SSISを使えば簡単に記述可能です。

上記は、ファイルを単純に結合するだけです。（UNIX上でCATすればすみますが。。）実行のVisual Studio上で実行でき、実行結果は以下のようになります。本番環境では、SQLServerや、Azure上のData Factoryでコンポーネントをホストして実行させます。

SQLServerには標準で付属していますので、使用される予定がある方は一度使われてみてはいかがでしょうか。