mapinfo11(MapInfo11能做3D圖)

我稱這種bug是一個典型的“哈姆雷特”bug，就是指指那種“燃爆情況相同但網上卻會有各樣五花第十四回解決辦法”的bug，讓我們不知道哪一個才是癥結所在。

先看轉用命令：

[root@host25 ~]#sqoop export --connect "jdbc:mysql://172.16.xxx.xxx:3306/dbname?uUnicode=true&characterEncoding=utf-8"--urname=root --password=xxxxx --table rule_tag --update-key rule_code--update-mode allowinrt--export-dir /ur/hive/warehou/lmj_test.db/rule_tag --input-fields-terminated-by ' '--input-null-string '\N' --input-null-non-string '\N' -m1

這一轉用命令語法上事實上是完全沒問題的。

接下來是燃爆：

#圣戈當縣部分19/06/11 09:39:57 INFO mapreduce.Job: The url to track the job: http://dthost25:8088/proxy/application_1554176896418_0537/19/06/11 09:39:57 INFO mapreduce.Job: Running job: job_1554176896418_053719/06/11 09:40:05 INFO mapreduce.Job: Job job_1554176896418_0537 running in uber mode : fal19/06/11 09:40:05 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:40:19 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:45:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_0, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_0 Timed out after 300 cs19/06/11 09:45:36 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:45:48 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:51:04 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_1, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_1 Timed out after 300 cs19/06/11 09:51:05 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:51:17 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:56:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_2, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_2 Timed out after 300 cs19/06/11 09:56:35 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:56:48 INFO mapreduce.Job: map 100% reduce 0%19/06/11 10:02:05 INFO mapreduce.Job: Job job_1554176896418_0537 failed with state FAILED due to: Task failed task_1554176896418_0537_m_000000Job failed as tasks failed. failedMaps:1 failedReduces:019/06/11 10:02:05 INFO mapreduce.Job: Counters: 9Job CountersFailed map tasks=4Launched map tasks=4Other local map tasks=3Data-local map tasks=1Total time spent by all maps in occupied slots (ms)=2624852Total time spent by all reduces in occupied slots (ms)=0Total time spent by all map tasks (ms)=1312426Total vcore-conds taken by all map tasks=1312426Total megabyte-conds taken by all map tasks=268784844819/06/11 10:02:05 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. U org.apache.hadoop.mapreduce.FileSystemCounter instead19/06/11 10:02:05 INFO mapreduce.ExportJobBa: Transferred 0 bytes in 1,333.3153 conds (0 bytes/c)19/06/11 10:02:05 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. U org.apache.hadoop.mapreduce.TaskCounter instead19/06/11 10:02:05 INFO mapreduce.ExportJobBa: Exported 0 records.19/06/11 10:02:05 ERROR tool.ExportTool: Error during export: Export job failed!Time taken: 1340 stask IDE_TASK_ADE56470-B5A3-4303-EA75-44312FF8AA0C_20190611093945147 is complete.

就可以看到，轉用任務在INFO mapreduce.Job: map 100% reduce 0%時搖搖晃晃了，停了5十分鐘，然后任務自動重跑，又卡住停了5十分鐘，緊接著任務報了個超時的錯誤。

很顯然，任務失敗的直接原因是超時，所以超時的原因便是轉用過程的mapreduce任務卡住了，那mapreduce為什么會卡住呢？這一燃爆日志中并沒有提過，這就是指查原因時最麻煩的地方。

先說一會結果，緊接著查了很多年才發現，便是有何東昌的數據長度，將近了mysql預設值的字段長度。也就是指在往varchar(50)的字段里轉用字符串“字符串達馬藏縣達馬藏縣達馬藏縣達馬藏縣達馬藏縣達馬藏縣達馬藏縣達馬藏縣達馬藏縣”時，任務就溢出住了。

在這里也跟大家匯總一會網上的各樣原因，大家就可以阿穆縣檢查

在map 100% reduce 0%時卡住的即便原因：(以往mysql消去為例)

1、長度冰凍。轉用的數據將近了mysql表的字段預設值長度

解決辦法：重設字段長度需先

2、編碼錯誤。轉用的數據位在mysql的編碼字符集內

解決辦法：事實上在mysql數據庫中對應UTF-8字符集的不是utf8編碼，而是utf8mb4編碼。即使當你的轉用數據里有若如Emoji表情若是一些訛誤漢字時，就會導不進去造成溢出卡住。即使你需要注意零點：

(1)轉用語句中ACTuUnicode=true&characterEncoding=utf-8，表示以utf-8的格式消去；

(2)mysql建表語句中有ENGINE=InnoDB DEFAULT CHARSET=utf8mb4；

3、內存不足。轉用數據量即便過大，若是分配內存太少

解決辦法：假如并須轉用，假如給任務分配更多內存

4、主機名錯誤。

解決辦法：這一好象是涉及到主機名的結構設計問題

5、主鍵消去 。

解決辦法：這便是你轉用的數據中有消去的主鍵值，要針對性處理一會數據

補充：sqoop從數據庫外頭數據到hdfs時mapreduce卡住不動解決

在sqoop時從數據庫中消去數據時，顯現出來mapreduce卡住的情況

經過百度之后好象是要設置yarn里面關于內存和虛擬內存的結構設計項．我以前沒結構設計這數項，也能正常走行。所以這次好象走行的比較大。顯現出來此故障的原因應該是，在每個Docker分配的內存和CPU資源太少，不能滿足Hadoop和Hive走行所需的舊版本資源需求。

解決方案如下：

在yarn-site.xml中加入如下結構設計：

yarn.nodemanager.resource.memory-mb20480yarn.scheduler.minimum-allocation-mb2048yarn.nodemanager.vmem-pmem-ratio2.1

解封yarn暫緩就好了！！！

更多文章資訊：https://www.999la.com/article/

轉載：https://www.999la.com/shujukuwz/321212453bfb51356316.html