読者です 読者をやめる 読者になる 読者になる

【TERADATA】BIツールではViewで定義しよう

まずTERADATAでは、次のようにViewを定義します。 REPLACE VIEW SampleView ( field1 ,field2 ,field3) asLOCKING TABLE SampleTable FOR ACCESSselect field1 ,field2 ,field3from SampleTable; 上の赤の太字の記載は、テーブルがロックされててもデータを…

【TERADATA】TERADATAにデータを入れるツールを作ったよ(ACCESSのデータをTERADATAにロードできます)

開発中に手持ちのExcelデータをTERADATAに入れたいことは多々あります。 ちょっとした件数(10万件程度)を入れるのに便利なツールの紹介です。 通常TERADATAに入れるやり方は、 1.CSVファイルにして、FASTLOADや、MULTILOADのスクリプトを書いてデータを…

【TERADATA】Aggregate Join Indexでさらに検索を早くする

TERADTAに、Join Indexという機能がある。 これはOracleのMaterialized Viewをクエリーリライトに特化したような機能で、あらかじめ結合や集計をした結果を保持する。 もちろん、元のテーブルが更新されれば即座にJoin Indexも更新される。(V4ぐらいでは、…

【TERADATA】 他のテーブルの値で更新するUPDATE文

UPDATEの文法って、DB毎に癖があって覚えられないのでメモ。 UPDATE [更新するテーブル] FROM [更新元テーブル]SET [更新するカラム] = [更新元テーブル].[更新元カラム]WHERE [更新するテーブル].[結合カラム] = [更新元テーブル].[結合カラム]; TERADATAで…

【TERADATA】 大きいテーブル同士を結合する時に結合条件のカラムがそれぞれPrimary Indexだと結合処理が早い

TERADATAは、データを分散させて管理していて、Primary Indexに指定したカラムを元に分散させている。分散された1つはAMPと呼ばれ、1つのDBに複数AMPがある状態となる。(詳細は企業のサイトにあると思います) データは分散されているため、あるテーブル…

【TERADATA】 TERADATAの拡張SQL構文のQUALIFY句は、他のDBでも使えるといいなと思う

TERADATA拡張のQUALIFY句がある。 QUALIFY句を使って、分析関数の値でさらに条件をかけることができる。 select productcode , ammount, rank() over(order by ammount desc)from samplequalify rank() over(order by ammount desc) <= 100; こんな感じで使…

【TERADATA】SQLで改行やタブをコードで指定する

select 'AAA' || '0A'XC || 'BBB' --改行コード select 'AAA' || '09'XC || 'BBB' --Tab ぱっと見で、わかりやすくなるかも。

【TERADATA】 テーブルの結合や、文字の連結処理では文字コードが揃ってないと遅くなるよ

以前、TERADATAではカラム単位に文字コードが指定できるということを書きました。 crmprogrammer38.hatenablog.com カラムをLATINで定義できれば、UNICODEの半分のサイズとなるので、 ・データのサイズも小さくできる ・そのカラムで結合する際に、結合のス…

【TERADATA】 JDBCのFASTLOADモードを使おう

TERADATA12頃から、JDBCでFASTLOADモードが追加されています。 crmprogrammer38.hatenablog.com 前回TERADATAにJDBCを使ってデータをいれるときは、addBatchを使ってまとめて登録した方が早いということを書きましたが、FASTLOADモードは同じような書き方で…

【TERADATA】 1件ずつinsertは性能が著しく落ちるよ

TERADATAへのデータロードは、ファイルからであれば、FASTLOAD、MULTILOADなどを使うと思います。 TERADATAとの連携用にETLツールなどを購入して他のデータベースから直接取得したデータをTERADATAに入れたいなんてのもあって ・ODBC接続 ・JDBC接続 が用意…

【TERADATA】 WindowsOSで、JDBC接続では、hostsファイルに複数Nodeを定義する

ODBC接続では、ODBCの設定で複数ノードが指定できるけど、JDBC接続ではhostsファイルをいじることになる。 [hostsファイルへ追記] ノードのIPアドレス ホスト名 JDBCの接続名+cop+連番 10.50.50.101 tera1 teracop1 10.50.50.102 tera2 teracop2 10.50.50.10…

【TERADATA】 日付の変換や文字のトリムメモ

結構たくさん書かないといけなくてよく忘れます。 日付のフォーマット(dateをYYYY/MM/DD形式の文字列へ) select cast( cast( current_date as format 'YYYY/MM/DD') as CHAR(10) ) ; 日付のパース(YYYY/MM/DD形式の文字列からdate) select cast( '2010/11/21…

【TERADATA】 定義情報(テーブル一覧、カラム一覧、インデックス一覧など)の取得

自分がよく使う定義の参照などコマンド テーブル一覧の表示 help user [ユーザ名]; カラム一覧の表示 help table [テーブル名]; テーブルのインデックス一覧の表示 help index [テーブル名]; テーブルの統計情報一覧の表示 help stat [テーブル名]; テーブル…

【TERADATA】Primary Partition Index と Dynamic Partition Elimination実行プラン

crmprogrammer38.hatenablog.com ・上の記事で書いたようなパーティションを指定したテーブルと他のマスタテーブルを内部結合する ・結合条件がパーティションを指定した項目である ・結合するテーブルの関係は1:Nの関係が物理的に保証されている ・マスタ…

【TERADATA】 Primary Partition Indexでパーティション設定

TERADATAは、分散したデータをさらにパーティション設定ができる。 パーティション設定した項目に検索条件を指定するとフルスキャンではなく該当するパーティションのみスキャンされるため性能があがる。 例えば次のテーブルでは、Datestring項目には、YYYYM…

【TERADATA】 PRIMARY INDEXは、データの分散のキー

TERADATAは、データを分散して管理していて、その分散用のキーとしてPRIMARY INDEXを指定する。 CREATE SET TABLE SAMPLE ( ,LATINFIELD CHAR(2) CHARACTER SET LATIN CASESPECIFIC NOT NULL ,UNICODEFIELD VARCHAR(9) CHARACTER SET UNICODE CASESPECIFIC )…

【TERADATA】 カラム単位の文字コード指定

TERADATAは、カラム単位に文字コードが指定できる。 CREATE SET TABLE SAMPLE ( ,LATINFIELD CHAR(2) CHARACTER SET LATIN CASESPECIFIC NOT NULL ,UNICODEFIELD VARCHAR(9) CHARACTER SET UNICODE CASESPECIFIC ) UNIQUE PRIMARY INDEX ( LATINFIELD ) ; 文…